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“本 书 结构 清 晰 ， 条 理 分 明 ， 理 论 描 述 精 当 ， 实 例 范围 广泛 。 它 突出 了 数值 分 析 的 中 心 主 题 ， 给 出 了 大 量 的 
算法 及 其 误差 分 析 ， 尤 其 难 能 可 责 的 是 ， 它 提供 了 丰富 的 、 取 自 现 实生 活 各 个 方面 的 “实例 检验 ”， 显 示 出 作 
者 深厚 的 理论 功底 和 应 用 实力 。” 


一 一 Amazon 读 者 评论 


本 书 是 一 本 优秀 的 数值 分 析 教 材 ， 全 面 论述 了 数值 分 析 的 基本 方法 ， 还 介绍 了 诸如 后 向 误差 分 析 、 稀 
朴 矩 阵 计算 及 信号 处 理 等 新 内 容 。 书 中 实例 丰富 ， 涉 及 计算 机 、 电 子 、 金 融 等 各 领域 的 应 用 ， 尤 其 是 专门 
辟 出 “实例 检验 ”部 分 ， 结 合 数值 分 析 在 各 个 学 科 中 最 新 的 应 用 ， 与 MATLAB 软 件 紧 密 联 系 ， 揭 示 了 一 种 
技术 或 算法 可 以 利用 少量 的 数学 知识 就 能 在 科技 设计 中 获得 巨大 的 回报 。 

作者 认为 ， 读 者 不 应 停留 在 仅仅 学 会 如 何 对 Newton 方 法 与 快速 Fourier 变 换 等 算法 进行 编程 ， 还 必须 
吸收 那些 渗透 在 数值 分 析 中 并 把 其 他 相关 内 容 统一 起 来 的 伟大 思想 。 收 全 性、 复杂 性 、 条 件 作 用 、 压 缩 以 
及 正 交 性 的 概念 是 这 些 思想 中 最 重要 的 ， 作 者 通过 称 为 “亮点 ”的 主题 格式 ， 强 调 了 现代 数值 分 析 中 这 5 
个 概念 的 作用 。 

总 之 ， 本 书 内 容 生 动 新 颖 ， 实 用 性 强 ， 极 富 特色 ， 是 非常 理想 的 教材 和 参考 书 。 原 书 出 版 不 久 即 被 美 
国 多 所 高 校 指定 为 教材 或 参考 书 ， 受 到 广泛 好 评 。 


Timothy Sauer 乔治 梅森 大 学 数学 系 教授 。1982 年 毕业 于 加 州 大 学 伯克利 分 校 ， 

中 师 从 著名 数学 家 Robin Hartshorne。 他 的 主要 研究 领域 为 动力 系统 和 数值 分 析 。 除 本 
书 外 ， 还 与 人 合 著 有 CHAOS: An Introduction to Dynamical System 等 书 。Sauer 是 
SIAM Journal on Applied Dynamical Systems, Journal of Difference Equations and 
Applications 和 Physica D 等 学 术 期 刊 的 编 委 。 
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内 容 提要 


本 书 以 收敛 性 、 复 杂 性 、 条 件 作 用 、 压 缩 和 正 交 性 这 5 个 主要 思想 为 核心 进行 展开 . 内 
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数 及 其 应 用 、 三 角 插值 、 压 缩 、 最 优化 等 . 每 章 都 有 一 个 实例 检验 ， 有 助 于 读者 了 解 到 相 
关 应 用 领域 . 附录 中 介绍 了 矩阵 代数 和 MATLAB， 并 提供 了 部 分 习题 的 答案 . 
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计算 机 是 20 世纪 以 来 对 人 类 社会 影响 最 为 深刻 的 高 新 科技 成 果 之 一 , 而 科学 
计算 已 成 为 当今 科学 研究 中 与 理论 分 析 和 实验 研究 并 列 的 三 种 基本 手段 之 一 . 科学 
计算 是 数学 与 计算 机 的 有 机 结合 , 而 且 它 本 身 也 成 为 数学 科学 自身 发 展 的 源泉 和 途 
径 之 一 . 数值 分 析 及 其 有 关内 容 在 培养 学 生 科 学 计算 能 力 上 具有 不 可 替代 的 作用 ， 
目前 许多 高 校 已 将 数值 分 析 列 入 自然 科学 、 工 程 技术 乃至 社会 科学 的 教学 计划 中 . 

由 于 数值 分 析 涉 及 范围 甚 广 , 应 用 于 诸多 的 领域 , 为 使 学 习 者 打下 较为 坚实 的 
理论 基础 , 了 解 和 使 用 相关 数学 软件 , 并 在 此 基础 上 设计 和 编写 自己 的 算法 及 程序 
以 解决 各 类 实际 应 用 问题 , 选择 一 本 好 的 教材 自然 是 重要 的 . 国外 最 新 出 版 的 由 乔 
治 ， 梅 森 大 学 Timothy Sauer 教授 编著 的 这 本 《数值 分 析 》 极 富 特 色 , 出 版 不 久 即 
广 受 好 评 . 

该 书 内 容 涵盖 非常 全 面 , 其 中 关于 边界 值 、 随 机 数值 分 析 、 三 角 插 值 、 压缩 、 特 
征 值 、 优 化 等 方面 的 内 容 是 其 他 教材 不 多 见 的 . 此 外 , 作者 把 许多 看 似 关 联 不 大 的 
技术 融合 在 一 本 书 中 , 并 强调 : 不 仅仅 要 学 会 如 何 使 用 Newton、Runge-Kutta、 快 
速 Fourier 变换 等 方法 , 还 要 吸收 那些 渗透 在 数值 分 析 中 并 将 各 种 不 同 的 方法 统一 
起 来 的 主要 思想 . 

本 书 集中 讨论 了 收敛 性 、 复 杂 性 、 条 件 作 用 、 压 缩 和 正 交 性 的 概念 及 其 作用 ， 
并 以 此 分 析 、 评 论 其 他 相关 的 论题 , 作者 以 这 5 个 最 重要 的 概念 为 框架 展开 内 容 ， 
不 拘泥 于 形式 的 讨论 , 向 读者 传达 了 什么 是 数值 分 析 理 论 中 真正 至 关 重 要 的 主题 . 

作者 还 介绍 了 诸如 后 向 误差 分 析 、 稀疏 矩阵 计算 及 信号 处 理 等 概念 , 融合 了 计 
算 机 、 电 子 、 黎 融 等 各 领域 最 新 的 应 用 , 给 出 了 大 量 的 实例 和 图 片 ,内 容 生动 新 颖 ， 
实用 性 强 . 实例 检验 提供 了 数值 分 析 在 各 个 学 科 中 最 新 的 应 用 , 与 MATLAB 的 紧密 
联系 可 容易 地 实现 制图 , 并 有 效 地 解决 工业 规模 化 问题 . 

本 书 结构 清晰 , 条 理 分 明 , 理论 描述 精 当 , 实例 范围 广泛 . 除 经 典 问题 外 , 还 涉 
及 许多 最 新 的 前 沿 课题 . 每 个 章节 还 提供 了 大 量 的 概念 性 及 计算 性 的 练习 (习题 与 
计算 机 问题 ), 帮助 读者 理解 、 消 化 、 复 习 和 巩固 所 学 知识 , 并 可 使 读者 在 学 会 解决 
各 类 问题 方面 逐步 积累 起 经 验 . 适合 于 大 学 生 、 研究 生 以 及 相关 人 员 学 习 和 参考 . 

本 书 由 吴 兆 金 、 王 国 英和 范 红军 翻译 , 其 中 第 0~1 章 、 第 3~4 R 10 章 及 
索引 由 吴 兆 金 翻 译 , 第 5~8 章 、 第 12 章 、 习 题 选 解 及 附录 A 由 王国 英 翻译 , 第 2 
章 、 第 9 章 、 第 11 章 、 第 13 章 及 附录 B 由 范 红 军 翻译 , 全 书 由 吴 兆 金 统 稿 . 本 书 
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的 翻译 工作 得 到 人 民 邮 电 出 版 社 图 灵 公司 领导 和 编辑 的 支持 和 帮助 , 对 此 向 他 们 表 
示 囊 心 的 感谢 . 

在 本 书 的 翻译 过 程 中 , 我 们 力求 忠实 、 准确 地 反映 原著 的 内 容 和 风格 . 鉴于 我 
们 水 平 所 限 , 翻译 错误 及 不 妥 之 处 在 所 难免 , 恳请 读者 批评 、 指 正 . 


译 者 
2008 年 3 月 于 南京 大 学 
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REE FH, 数学 编辑 , 副 编 审 ，1978 年 毕业 于 南京 大 学 数学 系 计算 数学 专 
业 , 留 校 任教 . 曾 任 《 高 等 学 校 计算 数学 学 报 》 编辑, 现 为 《Analysis in Theory and 
Applications》 和 《南京 大 学 学 报 数学 半年 刊 》 编 辑 ， 已 参与 出 版 教材 1 部 , 发 表 学 
术 论 文 数 篇 . 

FER 男 , 1944 年 11 月 生 , 1967 年 南京 大 学 数学 系 毕业 , 1982 年 在 南京 大 
学 数学 系 获 硕士 学 位 . 现 为 南京 大 学 数学 系 信息 与 计算 科学 专业 的 教授 , 研究 方向 
是 偏 微分 方程 数值 解法 和 奇异 摄 动 问题 的 数值 方法 ， 曾 在 核心 一 级 刊物 发 表 研究 
论文 20 余 篇 , 已 出 版 译 著 《数值 分 析 》( 全 美 经 典 ) 和 教材 《工程 数学 》. 

范 红军 F, 1966 年 9 HHE, 1989 年 毕业 于 南京 大 学 数学 系 并 留 校 任教 至 
S, 现 为 副教授 . 曾 编著 出 版 《高 等 数学 》 和 《大 学 数学 典型 题解 析 》 等 . 现 主要 从 
事 数 值 代 数 方 面 的 研究 . 
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本 书 是 为 工程 、 科 技 、 数 学 和 计算 机 科学 等 专业 的 学 生 而 写 的 入 门 教科 书 , 其 
目的 十 分 明确 : 描述 解决 科技 和 工程 问题 的 算法 以 及 讨论 算法 所 需 的 数学 基础 , 期 
望 适用 于 具有 初等 微 积 分 和 矩阵 代数 基础 的 学 生 的 主 修 课程 . 

作为 一 门 学 科 , 数值 分 析 的 内 容 极为 丰富 , 饱含 实用 思路 , 要 把 很 多 灵巧 但 又 
关联 不 大 的 技术 用 一 本 书 来 概括 是 非常 具有 挑战 性 的 . 要 深入 理解 , 读者 不 仅 必须 
学 会 如 何 对 Newton Wik. Runge-Kutta 方法 与 快速 Fourier 变换 进行 编程 , 而 且 必 
须 吸 收 那些 渗透 在 数值 分 析 中 、 把 其 他 相关 内 容 统 一 起 来 的 伟大 思想 . 

收敛 性 、 复 杂 性 、 适 用 条 件 、 压 缩 以 及 正 交 性 的 概念 是 这 些 思想 中 最 重要 的 . 
任何 合适 的 逼近 方法 都 必须 收敛 到 正确 的 答案 , 尤其 是 有 更 多 计算 资源 提供 给 它 时 
更 当 如 此 , 并 且 计算 方法 的 复杂 性 也 是 由 资源 利用 来 衡量 的 . 一 个 问题 的 适用 条 件 ， 
或 者 对 误差 放大 率 的 敏感 程度 , 是 了 解 如 何 求解 问题 的 基础 . 在 数值 分 析 的 许多 最 
新 应 用 中 , 目标 是 用 更 短 或 更 浓缩 的 方式 来 表示 数据 . 最 后 , 正 交 性 在 若干 领域 中 
对 效率 的 影响 是 决定 性 的 , 并 且 在 要 考虑 适用 条 件 或 者 以 压缩 性 为 目标 时 , 它 是 不 
可 替代 的 ， 

通过 称 为 “亮点 "(Spotlight) 的 主题 元 素 , 我 们 强调 了 现代 数值 分 析 中 这 5 个 
概念 的 作用 . 它们 评论 当前 的 论题 , 并 且 联系 到 书 中 其 他 地 方 出 现 的 相同 概念 的 其 
他 描述 . 同时 , 我 们 希望 用 这 种 明显 的 方式 突出 这 5 个 概念 , 能 够 强调 当前 页 面 的 
重点 知识 , 起 到 点 题 之 功效 . 

虽然 公认 数值 分 析 的 思想 对 现代 科技 与 工程 的 实践 来 说 是 必需 的 , 但 仍 需 不 
断 强化 这 一 理念 . “实例 检验 ”就 给 出 一 些 用 数值 分 析 方法 解决 科技 问题 的 具体 例 
子 . 这 些 扩充 的 应 用 应 时 而 选 并 贴近 日 常 的 经 验 . 虽然 实例 检验 不 可 能 (甚至 是 不 
BR) 表现 问题 的 全 部 细节 , 但 它 试图 从 一 定 深度 去 揭示 一 种 技术 或 算法 可 以 利用 
少量 的 数学 知识 就 在 科技 的 设计 中 获得 巨大 的 回报 . 

在 本 书 中 , Marias 既 用 于 算法 说 明 又 用 于 学 生 作 业 和 课题 的 建议 平台 . 本 书 
中 MATLAB 代码 的 数量 是 经 过 仔细 调控 的 , 这 是 因为 太 多 的 代码 会 适得其反 . 前 
几 章 的 MATLAB 代码 多 一 些 , 可 以 使 读者 逐步 熟悉 程序 . 当 提 供 更 加 详细 的 代码 时 
(比如 说 , 在 插值 、 常 微分 和 偏 微 分 方程 的 学 习 中 ), 期 望 读者 以 此 作为 探索 和 拓展 
的 起 点 . 

尽管 本 书 不 是 非 要 用 到 一 种 计算 平台 不 可 , 但 Maras 在 工程 和 科技 部 门 的 
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广泛 应 用 表明 , 一 种 通用 的 计算 机 语言 可 以 让 很 多 工作 更 加 顺利 .借用 MATLAB, 
所 有 的 界面 问题 (数据 的 输入 /输出 与 绘图 等 ) 都 能 被 一 举 解决 . 数据 结构 问题 ( 比 
如 , 研究 稀 朴 矩阵 方法 时 产生 的 问题 ) 可 以 利用 适当 的 命令 进行 标准 化 ，MATLAB 
有 专门 设施 来 处 理 声音 和 图 像 文件 的 输入 和 输出 . 微分 方程 的 模拟 是 容易 实现 的 ， 
因为 MATLAB 中 有 相应 的 动画 命令 . 这 些 目标 虽说 也 可 以 用 其 他 方式 去 实现 , 但 是 
拥有 一 个 可 以 运行 在 几乎 所 有 的 操作 系统 上 并 简化 了 细节 的 软件 包 , 以 便 学 生 能 集 
中 精力 处 理 实际 的 数学 问题 , 何 乐 而 不 为 呢 ? 附录 B 是 简短 的 MATLAB 指南 , 它 可 
以 用 作 学 生 的 Marcas 入 门 介绍 或 作为 已 经 熟悉 该 软件 的 读者 的 一 个 参考 . 

本 书 附 CD” 一 张 , 内 容 包括 直接 取 自 书 中 的 MATLAB 程序 . 这 些 程序 在 网 站 
www.aw-be.com/sauer 上 也 可 以 找到 , 该 站 点 上 还 有 新 的 资源 和 更 新 供 使 用 者 下 载 . 

本 书 的 结构 是 先 介绍 基本 思想 , 然后 描述 更 复杂 的 概念 . 第 0 章 给 出 了 后 面 要 
用 到 的 基本 知识 . 一 些 教师 喜欢 从 头 讲 起 ; 另 一 些 教师 (包括 作者 本 人 ) 喜欢 从 第 1 
章 开始 并 在 需要 时 折 回 到 第 0 章 的 一 些 主题 . 第 1 章 与 第 2 章 给 出 了 解 方程 的 各 
种 形式 . 第 3 章 讲 用 插值 法 处 理 数据 拟 合 , 第 4 章 介绍 最 小 二 乘法 拟 合 . 在 接 下 来 
的 第 5~8 章 , 我 们 回 到 连续 数学 中 的 经 典 数值 分 析 领 域 : 数值 微 积分 , 带 初 值 与 边 
值 条 件 的 常 微分 方程 与 偏 微分 方程 的 数值 解 . 

第 9 章 研究 随机 数 , 以 便 为 第 5~8 章 提供 补充 的 方法 : 可 替换 标准 数值 积分 格 
式 的 蒙特 卡 罗 法 以 及 随机 微分 方程 , 当 模 型 中 出 现 不 确定 性 时 这 些 方法 是 必要 的 . 

压缩 是 数值 分 析 的 核心 主题 , 尽管 它 经 常 隐藏 在 插值 、 最 小 二 乘 与 Fourier 分 
析 中 . 第 10 章 和 第 11 章 特别 讲述 了 现代 压缩 技术 . 在 第 10 章 中 , 快速 Fourier 变 
换 是 作为 进行 三 角 插值 的 一 种 工具 , 包括 精确 插值 和 最 小 二 乘 近似 . 第 11 章 介绍 
离散 余弦 变换 与 Hofftman 编码 , 重点 并 充分 讨论 了 音频 压缩 的 诸多 联系 , 这 两 种 方 
法 也 是 现代 音频 与 图 像 压缩 的 标准 工具 . 第 12 章 讲述 特征 值 与 奇异 值 , 也 强调 它 
们 与 数据 压缩 之 间 的 联系 , 这 在 当前 的 应 用 中 变 得 越 来 越 重 要 . 第 13 章 是 关于 优 
化 技术 的 简短 介绍 . 

如 果 审 慎 地 选 讲 一 些 主题 , 本 书 也 可 用 于 一 学 期 的 课程 .第 0~3 章 是 必 备 的 
基础 . 作为 一 学 期 授课 的 话 , 可 做 如 下 设计 : 


cc 
| 第 5-8 章 J [ 第 4 章 、 第 10-12 章 | ri) 
经 典 微 积分 /微分 方程 离散 数学 金融 工程 
重点 在 正 交 性 和 压缩 


O 中 文 版 将 原 英文 书 所 附 CD 的 内 容 放 在 了 图 灵 网 站 (www.turingbook.com) 上 供 读者 免费 注册 下 
载 . 一 一 编者 注 
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第 0 章 基 Fihi 


本 书 的 主要 目的 是 介绍 和 讨论 用 计算 机 解数 学 问题 的 方法 ， 最 基本 的 算术 运 
算是 加 法 和 乘法 . 它们 也 是 计算 多 项 式 P(z) 在 特定 点 z 处 的 值 所 必需 的 运算 . 多 
项 式 是 我 们 将 要 构造 的 许多 计算 技术 的 基石 , 这 并 非 巧合 . 

因此 , 了 解 如 何 计算 多 项 式 是 很 重要 的 . 读者 可 能 已 经 知道 如 何 计算 多 项 式 ， 
并 且 可 能 会 认为 对 这 种 容易 的 问题 花 时 间 近 平 荒 廖 . 但 是 越 是 基本 的 运算 , 我 们 越 
要 把 它 做 得 正确 . 因此 , 我 们 将 考虑 如 何 尽 可 能 高 效 地 进行 多 项 式 计算 . 


0.1 ”多项式 计算 


计算 在 > = 4 处 的 多 项 式 P(z) = 2z4 + 3z3 — 31? + 5z 一 1, 最 好 的 方法 是 什 
A? 假设 多 项 式 的 系数 和 数 存储 在 存储 器 里 , 设法 使 求 P(3) 所 需要 的 加 法 和 乘 
法 的 次 数 最 少 . 为 了 简单 , 我 们 将 不 考虑 把 数 从 存储 器 存 入 和 取出 所 花 的 时 间 . 
方法 1 首先 最 直接 的 方法 是 


p(atriae (0.1) 
它 需 要 10 次 乘法 和 4 次 加 法 . 其 中 两 次 加 法 实际 上 是 减法 , 但 是 , 因为 减法 可 以 看 
作 是 加 上 一 个 负 的 存储 数 , 所 以 我 们 不 必 担 心 这 种 区 别 . 

当然 还 有 比 (0.1) 更 好 的 方法 . 工作 量 是 重复 的 , 通过 消除 对 1/2 的 重复 相 乘 ， 
可 以 减少 一 些 运算 . 更 好 的 策略 是 : 首先 计算 (让 ,同时 存储 计算 过 程 中 的 部 分 积 . 
这 样 就 导出 了 以 下 方法 . 

方法 2 ”首先 求 出 输入 数 z = 3 NUE, 并 把 它们 存储 起 来 备用 : 


rO OO OO 
现在 我 们 就 可 以 把 这 些 项 加 起 来 : 

人 -2 (8) +3+(3) —3+(4) +53- 
上 式 中 有 3 个 二 的 乘积 以 及 4 个 相关 乘积 . 总 计 我 们 已 减少 至 7 次 乘法 以 及 4 次 
加 法 . 将 运算 次 数 从 14 次 减少 到 11 次 是 否 是 重大 的 改进 ? 如 果 仅 是 要 做 一 次 计 
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算 , 则 答案 也 许 是 否定 的 . 不 论 使 用 方法 1 或 者 方法 2, 在 你 的 手指 离开 计算 机 键 
得 之 前 就 可 得 到 答案 . 然而 , 假如 每 秒 钟 需要 多 项 式 对 不 同 的 输入 z 进行 几 次 计算 ， 
那么 能 否 及 时 地 得 到 信息 , 其 间 的 差别 就 可 能 是 关键 的 . 

对 于 4 次 多 项 式 来 说 , 第 2 种 方法 是 否 做 得 最 好 呢 ? 可 能 很 难 想象 我 们 还 能 再 
减少 3 次 运算 , 但 是 我 们 的 确 能 够 做 到 . 最 好 的 初等 方法 如 下 . 

方法 SERIE) ”把 多 项 式 改写 为 下 面 的 形式 以 便 能 依 括号 从 内 到 外 进行 
计算 : 

P(x) = —1 + 2(5 — 3a + 32? + 223) = —1 + z(5 + z(—3 + 3x + 227)) 
= —1 + z(5 + z(—3 + z(3 + 2z))) = —1 + z * (5 + z »* (—3 + £ * (3 + z * 2))), 
(0.2) 

这 里 的 多 项 式 是 倒 过 来 写 的 , WA z HREEFAE MRR FRAN. 一 旦 你 
能 看 懂 这 种 写法 , 就 会 明白 这 种 改写 并 不 需要 计算 一 一 系数 没有 改变 . 现在 我 们 从 
里 往外 进行 计算 : 


1 
R 3*2, 加 +3 一 4 R 3*4 加 一 3 一 一 1; 


1 9 1 9 5 03) 
R gt), 加 5 R I'P 加 -1>7 

RAPERA RERA (nested multiplication) R Horner 方 法 . 计算 该 多 项 式 仅 用 
了 4 次 乘法 和 4 次 加 法 . 通常 一 个 d 次 多 项 式 能 用 d 次 乘法 和 d 次 加 法 进行 计算 . 
嵌 套 乘法 与 多 项 式 运算 的 综合 除法 密切 相关 . 

这 个 多 项 式 计算 的 例子 具有 科学 计算 中 计算 方法 所 研究 的 所 有 问题 的 特征 . 首 
先 , 计算 机 能 够 十 分 迅速 地 进行 非常 简单 的 工作 . 其 次 , 重要 的 是 即使 对 简单 的 任 
务 也 要 尽 可 能 提高 工作 效率 , 因为 它们 可 能 要 执行 许多 次 . 第 三 , 最 好 的 方法 可 能 
不 是 显而易见 的 . 在 过 去 半 个 多 世纪 里 , 数值 分 析 和 科学 计算 领域 与 计算 机 硬件 技 
术 密 切 相关 , 对 于 一 些 常规 的 问题 已 经 开发 出 有 效 的 解 题 技术 . 

虽然 多 项 式 ci + caz + caz2 + caz3 + c5z4 的 标准 形式 能 写成 


cl 十 z(ca 二 z(cs 十 z(cd 十 z(cs)))) (0.4) 


这 种 嵌 套 形式 , 但 是 某 些 应 用 要 求 更 一 般 的 形式 . 特别 地 , 第 3 章 里 的 插值 计算 将 
需要 
cı + (z — r1)(c2 + (£ — T2)(c3 + (z — r3)(c4 + (z — ra)(cs)))) (0.5) 
这 种 形式 , 这 里 ri, 12,73, ra 称 为 基点 (base point). 注意 , ÆR (0.5) 中 取 ri = r2 = 
r3 = r4 = 0 便 恢复 到 原来 的 嵌 套 形式 (0.4). 
以 下 MATLAB 代码 提供 了 嵌 套 乘法 的 一 般 形式 (与 式 (0.3) 比较 ): 
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%Program 0.1 Nested multiplication 

%Evaluates polynomial from nested form using Horner's Method 

%Input: degree d of polynomial, 

多 array of d+1 coefficients c (constant term first), 

和 x-coordinate x at which to evaluate, and 

s array of d base points b, if needed 

%Output: value y of polynomial at x 

function y=nest(d,c,x,b) if nargin<4, b=zeros(d,1); end y=c(d+1); 

for i=d:-1:1 

Y = y.*(x-b(i)) +04); 

end 

运行 这 个 MATLAB 函数 只 是 置换 包括 次 数 、 系 数 、 求 值 点 及 基点 等 输入 数据 . 
例如 可 以 用 MATLAB 命令 

>> nest(4,[-1 5 -3 3 2],1/2,[0 0 0 0) 

ans= 

1.2500 

来 计算 多 项 式 (0.2) 在 z = 5 处 的 值 , 就 像 我 们 以 前 用 手 算 求 得 的 一 样 . 在 执行 指 
令 时 必须 经 由 MATLAB 路 径 (或 在 当前 目录 中 ) 使 用 文件 nest .m. 本 书 中 给 出 的 其 
R MATLAB 代码 的 使 用 方法 与 此 相同 . 

车 nest 指 令 用 于 如 (0.2) 中 所 有 基点 为 0 的 情形 , 那么 使 用 其 简化 形式 

>> nest(4,[-1 5 -3 3 2),1/2) 
可 以 得 到 同样 的 结果 . 这 是 由 于 nest .m 中 的 nargin 语 句 . 假如 输入 参数 的 数量 少 于 
4, 那么 就 自动 将 基点 设 为 0. 

由 于 MATLAB 中 向 量 记 法 的 无 缝 处理, 这 种 nest 指 令 可 以 立即 对 z 的 一 组 数 
值 进行 计算 . 以 下 代码 便 可 说 明 这 一 点 : 

>> nest(4,[-1 5 -3 3 2,[-2 -1 0 1 2) 

ans= 

-15 -10 —1 6 53 
最 后 , 第 3 章 中 的 3 次 插值 多 项 式 


Pla) =142($+(e-2) ($+ (e-9) (-3))) 


有 基点 ri = 0,72 = 2,73 = 3, 可 以 通过 以 下 代码 计算 出 它 在 z = 1 处 的 值 : 
>>n est(3[1,1/2 1/2 -—1/2],1,[0 2 3]) 
ans= 


0 
例 0.1 找 出 一 种 高 效 的 方法 来 计算 多 项 式 


P(z) = 42° 十 7z8 — 31"! + 2214. 
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改写 多 项 式 可 以 帮助 减少 所 需要 的 计算 次 数 . 一 种 想法 是 从 各 项 中 提出 因子 
z5, 并 把 其 余部 分 写成 z3 的 多 项 式 


P(x) = z5(4 +7z3 — 32° + 22°) = 29 «(44.29% (7+29*(-3 + z? * (2)))). 


首先 , 对 每 一 个 输入 z, 我 们 需要 计算 rz * = z2,z* z2 = z3 以 及 z2 * za = z5. 这 
3 次 乘法 连同 与 z5 的 乘法 , 再 加 上 关于 zs 的 3 次 多 项 式 的 3 次 乘法 和 3 次 加 法 ， 
就 给 出 了 : 每 次 计算 总 共 需 要 7 次 乘法 和 3 次 加 法 运算 . < 


习题 0.1 

1. 改写 下 列 多 项 式 为 嵌 套 形式 . 在 z = j t, 分 别 用 媒 套 形式 和 不 用 岩 套 形式 进行 计算 : 
(a) P(z) = 6z4 +z? 十 5z2 十 z 十 1 
(b) P(x) = -3z4 十 4z3 + 5z? — 5z + 1; 
(c) P(z) = 2z4 + z3 一 z2 +1. 

2. 改写 下 列 多 项 式 为 敬 套 形式 , 并 在 = = 一 二 时 计算 : 
(a) P(x) = 6z? — 2z? 一 3z 十 7; 
(b) P(x) = 8z5 — z* — 32° +z2 一 3z 十 1 
(c) P(x) = 42° — 224 — 22 十 4. 

3. 把 P(x) 看 成 z? 的 多 项 式 , FREI r= } It P(x) = zs — 4z4 +207 +1 
的 值 . 

4. 计算 带 基点 的 媒 套 多 项 式 P(z) = 1+2 (4+ (2-2) (十 (z 一 3) (一 3))) 在 (a)z=5 
及 (b)z = —1 处 的 值 . 

5. 计算 带 基点 的 嵌 套 多 项 式 P(x) = 4+ 2(4 + (z — 1)(1 + (z — 2)(3 + (z 一 3)(2)))) 在 
(aja = į & (b)z = 一 处 的 值 . 

6， 说 明 在 给 定 的 输入 z 处 , 如 何 用 尽 可 能 少 的 运算 计算 多 项 式 . 需要 多 少 次 乘法 和 加 法 ? 
(a) P(x) = ao 十 asz5 十 alo7l0 + al5715; 
(b) P(x) = art? + a127 +a" + ans” + arns”. 

7. ARRERA, 计算 带 基 点 的 n 次 多 项 式 需要 多 少 次 加 法 和 乘法 ? 

计算 机 问题 0.1 

1. 用 函数 nest 计 算 P(x) = 1+2+---+2° 在 x = 1.000 01 处 的 值 . (用 MATLAB 的 ones 命 
令 省 去 录入 .) 通过 与 等 价 表达 式 Q(z) = (zs — 1)/(z — 1) 比较 , 求 计算 误差 . 

2. 用 nest .mn 计算 P(z) = 1- z4r? -— r? +---+2°% — 2” 在 z= 1.000 01 处 的 值 . 找 出 
一 个 更 简单 的 等 价 表达 式 , 并 用 它 来 估计 媒 套 乘法 的 误差 . 


0.2 二 进 制 数 


为 了 在 0.3 节 中 深入 研究 计算 机 算术 , 我 们 需要 了 解 二 进 制 数 系 . 为 了 在 计算 
机 上 存储 数 并 且 简 化 如 加 法 和 乘法 这 样 的 计算 机 运算 , 我 们 把 十 进 制 数 从 以 10 为 
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基 转 化 到 以 2 为 基 . 把 上 述 过 程 倒 过 来 就 给 出 十 进 制 表示 的 输出 . 本 节 讨论 十 进 制 
数 和 二 进 制 数 之 间 的 转换 方法 . 


二 进 制 数 表示 如 下 : 
wm 


这 里 每 一 个 二 进 制 数字 或 者 每 一 位 (bit) BE 0 或 者 1. 把 这 个 数 写 成 以 10 为 基 的 
形式 就 是 
+++bg x 2? + by x 2! + bo x 2946-1 x21+b 2 x2-2..., 
例如 , 十 进 制 数 4 表示 为 以 2 为 基 的 形式 是 (100.)2, 而 3 可 表示 为 (0.11)z. 
0.2.1 “十进制 到 二 进 制 的 转换 
我 们 把 十 进 制 数 53 表示 为 (53)1o, 以 强调 它 是 以 10 为 基 的 . 为 转换 成 二 进 制 ， 
最 简单 的 方法 是 把 这 个 数 分 成 整数 和 小 数 两 部 分 , 再 分 别 转换 . 例如 数 (53.7) 19 = 
(53)10 + (0.7)10. 我 们 把 每 一 部 分 转换 为 二 进 制 后 再 把 结果 合并 起 来 . 
整数 部 分 “把 十 进 制 整数 转换 为 二 进 制 的 方法 是 : 逐次 与 2 相 除 并 记录 余数 
从 小 数 点 开始 记录 余数 0 或 1, 并 自 右 向 左 移动 余数 . 例如 对 于 (53)io, 我 们 有 
53+2=26 R1, 26+2=13 余 0， 13+2=6 #1, 
6+2=3 0, 3+2=1 #1, 1+2=0 #1, 
因此 , 以 10 为 基 的 数 53 能 表 成 二 进 制 数 110101, 即 记 为 (53)10 = (110101.)z. 检查 
这 个 结果 , 我 们 有 110101 = 25 + 24 + 2? + 29 = 32 二 16 十 4 十 1 = 53. 
小 数 部 分 ”把 上 面 各 步 反 过 来 就 能 把 (0.7)1o 转换 成 二 进 制 数 , 逐次 用 2 HR 
并 记录 整数 部 分 , 然后 从 小 数 点 向 右 移动 记录 的 整数 : 


0.7x2=0.4+1, 0.4x2=0.8+0, 0.8x2=0.6+1, 
0.6x2=0.2+1, 0.2x2=0.4+0, 0.4 x 2=0.8+0,--- 


注意 , 此 过 程 每 4 步 重复 一 次 , 并 且 以 完全 相同 的 方式 无 穷 多 次 重复 . 因此 ， 
(0.7)10 = (0.1011001100110 - --)2 = (0.10110) 2, 
其 中 上 面 一 杠 的 记号 表示 无 穷 多 次 重复 的 数位 . 把 这 两 部 分 结合 起 来 , 我 们 得 到 
(53.7)10 = (110101.10110)2. 
0.2.2 二进制 到 十 进 制 的 转换 


把 二 进 制 数 转换 成 十 进 制 , 最 好 也 分 成 整数 和 小 数 两 部 分 . 
整数 部 分 ”如 以 前 做 的 那样 , 只 要 把 2 的 各 次 里 简单 地 相 加 即 可 . 二 进 制 数 
(10101)z 可 简单 地 写成 1 x 2440 x 2341 x 274+0x 21 +1 x 2° = (21)10. 
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小 数 部 分 ”如 果 小 数 部 分 是 有 限 的 (以 2 为 基 的 展开 式 是 有 限 的 ), 可 用 同样 
的 方法 进行 . 例如 ， 
(0.1011)2 = 3 + F + a = (3) K 


只 有 当 小 数 部 分 不 是 有 限 的 以 2 为 基 的 展开 式 时 , 问题 才 变 得 复杂 起 来 . 有 几 种 方 
法 能 把 无 穷 多 次 重复 的 二 进 制 展开 式 转换 成 十 进 制 分 数 . 利用 乘 2 以 后 便 移 位 的 
性 质 或 许 是 最 简单 的 方法 . 

例如 , 假设 要 把 z = (0.1011), 转换 为 十 进 制 , 把 > RA 24, 并 把 它 放 在 二 进 制 
数 的 左边 , 然后 再 减 去 原来 的 数 z: 


相 减 后 得 到 
(24 — 1)z = (1011)2 = (11)10 


解 出 zx, 于 是 得 到 以 10 为 基 的 数 > = H. 

作为 另 一 个 例子 , 假定 小 数 部 分 并 不 是 一 开始 就 重复 , 例如 z = 0.10101, HLA 
2, 移 位 后 得 到 y = 22z = 10.101. y 的 小 数 部 分 , 称 之 为 z= 0.101, 像 以 前 一 样 
计算 : 


因此 7z = 5, 所 以 y ==2+$,z = 2-2y = 38, 它 是 以 10 为 基 的 . 把 大 转换 成 二 进 
制 数 , 并 与 原来 的 x 进行 比较 来 检查 这 个 结果 ， 不 失 为 一 个 很 好 的 练习 . 
二 进 制 数 是 机 器 计算 的 基础 . 但 是 人 们 认为 它们 太 长 而 不 便于 理解 . 有 时 会 用 
基 16, 只 是 为 了 更 容易 地 表示 一 个 数 .十 六 进 制 数 (hexadecimal number) 是 用 16 
个 数字 0,1,2,.… ,9,a,b,c, d,e, f 来 表示 的 . 每 个 十 六 进 制 数 可 以 用 4 个 数位 来 表 
示 . 因此 (1)16 = (0001)2, (8)16 = (1000)2, (f) = (1111)2 = (15)10. 0.3 节 将 描述 表 
示 机 器 数 的 MATLAB 命令 format hex. 
习题 0.2 
1. 求 基 为 10 的 下 列 整 数 的 二 进 制 表示 : 
(a) 64; (b) 17; (c) 79; (d) 227. 
2. 把 以 下 基 为 10 的 数 转换 成 二 进 制 数 , 用 上 面 加 一 横 的 记 法 表示 无 穷 二 进 制 数 : 
(a) 10.5; (b)¥; (c) §; (d) 128; (e) 55.4; (f) 0.1. 
3. RH x 的 二 进 制 表示 中 的 前 15 个 数码 . 
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4. 把 下 列 二 进 制 数 转换 成 以 10 为 基 的 数 : 
(a) 1010101; (b) 1011.101; (c) 10111.01; (d) 110.10; 
(e) 10.110; (f) 110.1101; (g) 10.0101101; (h) 111.1. 


0.3 ”实数 的 浮 点 表示 


本 节 提 供 了 一 个 关于 浮 点 数 的 计算 机 计算 的 模型 . 有 各 种 模型 , 但 是 为 了 简便 ， 
我 们 将 选择 一 个 特例 来 详细 地 令 述 . 我 们 选择 的 模型 就 是 所 谓 IEEE 754 浮 点 标准 . 
IEEE( 电 气 和 电子 工程 师 协会 ) 对 于 建立 行业 标准 有 着 积极 的 兴趣 , 他 们 的 浮 点 运 
算 格式 已 经 成 为 整个 计算 机 行业 中 单 精 度 和 双 精 度 运算 的 共同 标准 . 

当 使 用 有 限 精度 的 计算 机 存储 单元 来 表示 无 限 精度 的 实数 时 , 舍 入 误差 是 不 可 
避免 的 . 尽管 我 们 希望 在 很 长 的 运算 中 产生 的 小 误差 对 答案 只 会 产生 很 小 的 影响 ， 
但 是 在 许多 情形 下 这 事实 上 是 一 种 一 厢 情 愿 的 想法 . 即使 像 Gauss 消去 法 或 微分 
方程 的 解法 这 类 简单 算法 都 可 能 把 微小 的 误差 放大 很 多 . 实际 上 , 本 书 的 主题 是 帮 
助 读者 认识 到 由 于 数字 计算 机 造成 的 对 微小 误差 的 放大 , 计算 存在 不 可 靠 的 风险 ， 
以 及 懂得 怎样 避免 或 者 使 这 种 风险 减 到 最 小 . 


0.3.1 FARR 


IEEE 标准 包含 一 组 实数 的 二 进 制 表示 法 . 浮 点 数 (Hoating point number) 由 三 
部 分 组 成 , 即 符号 (sign, + 或 -)、 尾 数 (mantissa, 它 包含 一 串 有 效 数字 ) 以 及 阶 ( 即 
指数 , exponent). 这 三 部 分 合 一 起 就 表示 计算 机 中 的 浮 点 数 . 

浮 点 数 有 3 种 常用 的 精度 等 级 , 即 单 精度 、 双 精度 和 加 长 精度 ( 它 也 称 为 长 双 
精度 ). 浮 点 数 在 这 3 种 格式 里 规定 的 数位 的 数目 分 别 是 32、64 和 80, 每 一 部 分 中 
的 数位 划分 如 下 表 所 示 : 


精度 符号 阶 尾数 


单 1 8 23 
双 11 52 
长 双 1 15 64 


这 三 类 精度 的 用 法 实质 上 是 相同 的 . IEEE 浮 点 数 的 正规 化 形式 是 
+1.bbb---b x 2P, (0.6) 


其 中 NA b 中 的 每 一 个 或 者 是 0 或 者 是 1, 而 p 是 一 个 M 位 二 进 制 数 表示 的 指 
数 . 如 (0.6) 式 所 示 的 正规 化 意味 着 最 前 面 的 (最 左面 的 ) 数 必 须 是 1. 

当 一 个 二 进 制 数 作为 正规 浮 点 数 存储 时 它 是 “ 左 恰当 的 ” (left-justified), 即 最 左 
边 的 1 刚好 位 于 小 数 点 的 左边 . 通过 改变 阶 来 调整 位 移 . 例如 , 十 进 制 数 9 的 二 进 
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制 表 示 是 1001, 应 该 以 
十 1.001 x 23 

这 种 形式 存储 . 这 是 因为 要 把 最 左边 的 1 移 到 正确 的 位 置 必须 移动 3 个 数位 即 乘 
以 23. 

具体 来 说 , 在 大 多 数 讨论 中 , 我 们 将 限于 双 精 度 格式 . 除了 不 同 的 阶 和 尾数 长 
M 及 NN 以 外 , 我 们 用 同样 的 方法 处 理 单 精度 和 长 双 精 度 . 在 由 许多 C 编译 程序 和 
MATLAB 使 用 的 双 精度 中 , M = 11, N = 52. 

这 时 , 双 精 度数 1 等 于 


+1,[0000000000000000000000000000000000000000000000000000] x 2°, 
它 有 框 起 来 的 52 位 尾数 . 下 一 个 比 1 大 的 浮 点 数 等 于 


+1,0000000000000000000000000000000000000000000000000001| x 2° 


或 者 是 1 + 2-52. 
定义 0.1 机 器 e(machine epsilon) 表示 1 与 大 于 1 的 最 小 浮 点 数 之 间 的 差 ， 
记 为 emach. 对 于 IEEE 双 精 度 浮 点 标准 来 说 ， 


-52 
Emach = 27°, 


十 进 制 数 9.4 = (1001.0110)2, 其 左 恰当 形式 是 


+1,0010110011001100110011001100110011001100110011001100}110:-- x 23， 


这 里 我 们 把 尾数 的 前 52 位 框 了 起 来 . 于 是 产生 了 新 的 问题 如 何 把 十 进 制 数 9.4 
的 无 限 二 进 制 数 表示 成 有 限 个 数位 ? 

我 们 必须 用 某 种 方法 来 截断 一 个 数 , 且 由 此 必然 产生 小 的 误差 . 有 一 种 方法 称 
为 断 位 法 (chopping), 就 是 简单 地 把 小 数 点 右边 52 位 以 外 的 数位 会 去 . 这 种 约定 是 
很 简单 , 但 这 种 方法 会 产生 偏差 , 因为 它 总 会 使 其 结果 趋 于 零 . 

另 一 种 方法 是 会 入 法 (rounding). 基 为 10 时 , 如 果 下 一 位 数字 是 5 或 大 于 5, 
则 习惯 上 把 数字 进 一 位 , 否则 就 舍 去 . 在 二 进 制 , 这 对 应 于 当 数 位 是 1 时 便 进 一 位 . 
准确 地 说 , 在 双 精 度 格式 中 重要 的 数位 是 小 数 点 右边 第 53 个 数位 , 即 落 在 框 外 的 
第 1 个 数位 . 由 EEE 标准 提供 的 默认 舍 入 技巧 是 : 当 第 53 个 数位 是 1 时 , 则 把 
第 52 个 数位 加 1 EBA ( 舍 入 进位 )]; 当 第 53 个 数位 是 0 时 , 第 52 个 数位 不 变 
(FRA (会 去 )]; 但 有 一 个 例外 , 即 如 果 接 在 第 52 个 数位 之 后 的 是 数位 10000---, 
刚好 卡 在 含 入 和 售 去 中 间 , 我 们 选择 舍 入 还 是 舍 去 的 依据 就 是 要 使 最 后 的 第 52 位 
数 等 于 0( 这 里 我 们 仅 讨论 尾数 , 因为 符号 不 起 作用 ). 
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为 什么 会 有 这 种 奇怪 的 例外 情形 呢 ? 除了 这 种 情形 , 该 规则 意味 着 要 舍 入 为 最 
接近 原 数 的 正规 化 浮 点 数 一 一 因此 它 的 名 字 叫 做 最 近 舍 入 规则 . 由 会 入 而 产生 的 误 
差 将 等 可 能 地 上 合 入 或 下 舍 入 . 在 这 种 例外 情况 中 , 可 以 合 入 到 两 个 等 距 的 浮 点 数 . 
因此 应 该 采用 一 种 非 系 统 性 偏好 上 含 入 或 下 含 入 的 方法 . 这 是 试图 避免 由 于 简单 
的 倾向 性 舍 入 而 在 长 的 计算 中 产生 不 想 要 的 微小 偏差 . 在 这 种 平局 情形 下 , 选择 让 
最 后 的 第 52 位 数 等 于 0, 虽 多 少 有 点 随意 性 , 但 是 至 少 它 不 表示 偏好 是 选择 进位 还 
ERE. 习题 0.3 的 第 6 题 便 揭示 出 在 平局 情形 下 为 什么 要 随意 地 选择 0. 

1. IEEE 最 近 舍 入 规则 

对 于 双 精 度 而 言 , 如 果 二 进 制 小 数 点 右边 的 第 53 位 数 是 0, 那么 就 舍 去 (在 第 
52 位 后 面 截断 ); 如 果 第 53 位 数 是 1, 那么 就 进位 (第 52 位 数码 加 1), 除非 1 A 
边 的 所 有 已 知 数位 全 是 0( 若 是 这 种 情形 , 当 且 仅 当 第 52 位 数 是 1 时 , 第 52 位 数 
加 1). 

例如 前 面 讨论 过 的 数 9.4, 二 进 制 小 数 点 右边 第 53 位 数 是 1, 紧 随 其 后 的 是 其 
他 非 0 数 , 最 近 合 入 规则 便 要 进位 , 即 第 52 位 数 加 1. 因此 用 浮 点 数 表 示 9.4 就 是 


+1,0010110011001100110011001100110011001100110011001101 ] xP. (0.7) 


定义 0.2 ”使 用 最 近 含 入 规则 ， 用 fl(z) 来 表示 与 z 相关 的 IEEE 双 精 度 浮 
虚数 . 

在 计算 机 四 则 运算 中 , 用 数位 串 f(z) 来 代替 实数 z. 根据 这 个 定义 , H(9.4) 就 
是 二 进 制 表达 式 (0.7) 中 的 那个 数 . 我们 在 会 入 步 通 过 丢掉 该 数 右 端 无 限 的 尾部 
0.1100 x 2-52 x 23 = 0.0110 x 2-5! x 23 = 0.4 x 2-48, 再 加 上 2-52 x 23 = 2-49 而 得 
到 浮 点 数 表达 式 . 因此 ， 


fl(9.4) = 9.4+2-9—0.4x2 BS=9.4+(1—0.8)2-49 =9.4+0.2x2-4, (0.8) 


换言之 , 计算 机 使 用 双 精 度 表 达 式 和 最 近 舍 入 规则 在 存储 9.4 时 产生 的 误差 为 0.2 x 
2749, 我 们 称 0.2 x 2-49 为 会 入 误差 (rounding error). 
重要 的 信息 是 用 浮 点 数 表 示 9.4 并 不 等 于 9.4, 尽管 已 很 接近 . 为 了 量化 其 接近 
程度 , 我 们 使 用 误差 的 标准 定义 . 
定义 0.3 Ar 是 准确 值 z 的 计算 结果 , 那么 
绝对 误差 = |r. — t|, 相对 误差 = 


[te — z| 


假如 后 者 存在 . 
2. 相对 舍 入 误差 
HE IEEE 计算 机 四 则 运算 模型 中 , 4(z) 的 相对 舍 入 误差 不 大 于 机 器 e 的 一 半 : 
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H a< Zemac (0.9) 


TER z = 9.4 这 种 情形 下 , 我 们 在 (0.8) 式 中 产生 的 合 入 误差 必须 满足 式 (0.9): 


= —49 
e E 
例 0.2 ”对 xz = 0.4, 求 出 双 精 度 表 达 式 A1) 及 其 舍 入 误差. 
因为 (0.4)10 = (0.0110)2, 对 齐 左边 得 到 


0.4=1.100110 x 27? 
= +1,{1001100110011001100110011002100110011001100210011001 
100110--- x 27?. 
因此 , BREA, (0.4) 等 于 
+1,1001100110011001100110011001100110011001100110011010] x 2-?. 
这 里 第 52 位 数 加 上 1, 由 于 进行 二 进 制 加 法 使 得 第 51 位 数 也 改变 了 . 


仔细 分 析 一 下 , 我 们 在 截断 时 丢掉 了 2753 x 2-? + 0.010 x 2-54 x 2-2, 而 在 会 
入 时 又 加 上 了 2-52 x 2-2. 因此 


f1(0.4) = 0.4 — 2755 — 0,4 x 2756 + 2754 
=0.4 +2754 (4 一 0.1 十 1) 


=0.4+27°4(0.4) 
=0.4+0.1 x 27°, 


注意 , 对 于 0.4, 含 入 时 相对 误差 是 中 x Emach = F X Emach 这 符合 式 (0.9). < 
0.3.2 ”机 器 表示 

到 目前 为 止 , 我 们 已 抽象 地 描述 了 浮 点 表示 . 关于 这 种 表示 在 计算 机 上 是 如 何 
实现 的 , 这 里 再 作 一 些 比较 详细 的 讨论 . 另外 , 本 节 将 讨论 双 精度 格式 , 至 于 其 他 格 
式 , 则 十 分 类 似 . 

对 每 个 双 精 度 浮 点 数 指定 8 个 字 节 或 64 位 数 存储 其 3 个 部 分 . 它们 具有 形式 
Sele2***e11b1b2 .bs2 |, (0.10) 


其 中 s 表示 正 负 号 , 随后 的 11 位 数字 表示 阶 , 而 小 数 点 后 面 的 52 位 数字 表示 尾数 . 
这 里 的 符号 码 为 0 表示 正 数 , 符号 码 为 1 表示 负数 . 其 中 表示 阶 的 11 位 数字 是 正 
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的 二 进 制 整数 , 该 整数 经 过 由 阶 加 上 2 - 1 = 1 023 而 得 到 , 而 阶 至 少 在 -1 022 
和 1 023 之 间 . 这 样 e1,… ,ei 的 值 在 1 到 2 046 之 间 , 而 留 下 0 与 2 047 另 作 别 
FA, 后 面 我 们 将 再 考虑 . 

数 1023 称 为 双 精 度 格式 的 阶 偏 移 (exponent bias). 我 们 用 它 来 把 正 、 负 的 阶 都 
转换 成 正 的 二 进 制 数 ， 以便 存 储 在 表示 阶 的 数位 里 ， 对 于 单 精度 和 长 双 精 度 来 说 ， 
阶 偏 移 值 分 别 是 127 和 16 383. 

MATLAB 的 format hex 命 令 只 是 把 64 位 机 器 数 (0.10) 表示 成 16 位 十 六 进 制 
数 , 即 基 是 16 的 数 . 因此 , 前 面 的 3 位 十 六 进 制 数 表示 符号 和 阶 , 而 后 面 的 13 位 
就 是 尾数 . 

例如 , 一 旦 把 1 023 加 到 阶 里 , 数 1, 或 者 


1 = +1.[00000000000000000000000000000000000000000000000000000] x 2°, 


就 有 双 精 度 机 器 数 形式 


总 


01111111111 | 0000000000000000000000000000000000000000000000000000 
前 面 的 3 个 十 六 进 制 数字 对 应 于 


0011111111111 = 3ff, 


因此 , 浮 点 数 1 的 format hex 表 达 式 就 是 3ff0000000000000. 可 以 在 MATLAB 中 
键入 format hex 命 令 并 且 输 入 数字 1 来 检查 这 一 结果 . 

例 0.3 ”求实 数 9.4 的 十 六 进 制 机 器 数 表示 式 . 

根据 (0.7) 式 , 我 们 得 到 符号 s = 0, 阶 是 3, 小 数 点 后 的 52 位 尾数 是 


0010 | 1100 | 1100 | 1100 [1100 1100 | 1100 | 1100 | 1100 | 1100 | 1100 | 1100 | 1101 


一 (2cccccccccccd)jl6 


把 1 023 加 到 阶 上 , 得 1 026 = 210 + 2, 或 者 (10000000010)>. 把 符号 和 阶 结合 起 来 ， 
就 是 (010000000010)2 = (402)16, 得 到 十 六 进 制 格式 4022ccccececcced. 

现在 回 到 阶 的 特殊 值 0 和 2 047. 当 尾数 数码 串 全 是 零 或 NaN(Not a Number) 
时 2047 表示 00. e1…en = 0 可 以 理解 为 非 正 规 化 的 浮 点 形式 


+0|b1b2 «+ - bez] x2-1 922, (0.11) 
即 最 左边 的 数码 不 再 假定 是 1. 这 些 非 正规 化 数 叫做 次 正规 化 浮 点 数 . 它们 通过 增 
加 量 级 把 很 小 的 数 的 范围 扩大 了 . 因此 , 在 双 精 度 中 , 2-5? x 2-1 022 = 2-1 074 是 最 
小 的 可 表示 数 . 它 的 机 器 代码 是 
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o 


00000000000 | 000000000000000000000000000000000000000000000000001 


一 定 要 知道 最 小 的 可 表示 数 2-1 O74 和 emach = 2-5 之 闻 的 区 别 . 许多 比 emach 
小 的 数 都 是 机 器 可 表示 的 , 尽管 把 它们 加 到 1 上 去 , 可 能 没有 什么 影响 . 另 一 方面 ， 
完全 不 可 能 表示 小 于 2-1 %4 的 数 . 

次 正规 数 包括 了 最 重要 的 数 0. 实际 上 , 次 正规 化 表示 式 包 括 两 个 不 同 的 浮 点 
数 : +0 和 -0. 它们 被 当 作 同一 个 实数 看 待 . +0 的 机 器 表示 式 带 有 符号 码 s = 0, 
阶 码 el ---e11 = 00000000000 及 尾数 52 个 零 , 简 言 之 , 64 位 数 全 是 零 . +0 的 十 六 
进 制 格式 是 0000000000000000. 至 于 数 -0, 除了 符号 码 s = 1 之 外 , 其 余 都 相同 ， 
—0 的 十 六 进 制 格式 是 80000000000000. 
0.3.3 浮 点 数 的 加 法 

机 器 加 法 首先 把 两 个 要 加 的 数字 的 小 数 点 对 齐 , 然后 将 二 者 相 加 , 再 把 结果 作 
为 浮 点 数 存储 起 来 . 加 法 本 身 可 以 用 更 高 的 精度 进行 (超过 52 位 数 ), 这 是 因为 加 
法 是 在 专门 用 于 此 目的 的 寄存 器 内 进行 的 . 为 了 存储 为 机 器 数 , 相 加 之 后 的 结果 必 
须 将 二 进 制 小 数 点 之 后 部 分 合 入 到 52 位 数码 . 

例如 , 把 1 加 到 2-53 便 得 到 


1{00---0}x2° + 1[00---0}x2-5% 
=1,[00000000000000000000000000000000000000000000000000000]x 2° 
+0,[00000000000000000000000000000000000000000000000000000]1 x 2° 
=1[00000000000000000000000000000000000000000000000000000)1 x 2° 


BERR ABU, 这 就 存储 为 1. x 2° = 1. 因此 在 双 精 度 IEEE 计算 中 , 1 + 2-59 就 等 
于 1. 注意 , 2-53 是 具有 这 种 性 质 的 最 大 浮 点 数 ; 在 计算 机 四 则 运算 中 , 任何 比 它 大 
的 数 加 1 的 结果 比 1 要 大 . 

Emach = 2-52 并 不 表示 在 IEEE 模型 中 可 以 忽略 比 Emach 小 的 数 . 只 要 它们 在 
模型 中 可 以 表示 出 来 , 假定 没有 把 它们 与 单位 大 小 的 数 相 加 减 , 那么 用 这 样 大 的 数 
进行 的 计算 就 如 同 精确 的 一 样 . 
因为 计算 机 在 四 则 运算 过 程 中 会 产生 截断 和 舍 入 , 所 以 有 时 会 给 出 出 人 意料 的 
结果 . 例如 , 按 IEEE 最 近 含 入 规则 要 求 一 台 双 精度 计算 机 先 存储 9.4, 然后 减 去 9， 
再 减 去 0.4, 其 结果 将 不 是 0! 计算 过 程 如 下 : 首先 把 9.4 存储 为 9.4 十 0.2 x 279, 
这 一 点 前 面 已 说 明 过 . 在 减 去 9 时 (注意 9 能 被 表示 为 不 带 误差 ), 其 结果 是 0.4 十 
0.2 x 2- 和 9. 现在 再 要 求 计算 机 减 去 0.4, 结果 减 去 了 (如 我 们 在 例 0.2 中 看 到 的 ) 机 
器 数 (0.4) = 0.4 十 0.1 x 2-52, 这 样 便 留 下 


0.2 x 2-49 — 0.1 x 2-5? = 0.1 x 2-52(24 — 1) = 3 x 2753, 
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而 不 是 零 . 这 是 一 个 eman 量 级 的 小 的 数 , 但 它 不 是 零 . 因为 MATLAB 的 基本 数据 


类 型 是 IEEE 双 精 度数 , 我 们 可 以 在 下 面 的 MATLAB 中 说 明 这 一 结果 : 


>> format long 
>> x=9.4 


x= 
9.40000000000000 
>> y=x-9 
y= 
0.40000000000000 
>> z=y-0.4 
ze 
3.330669073875470e-16 
>> 3*2^(-53) 
ans = 
3.330669073875470e-16 


例 0.4 ” 求 双 精 度 浮 点 和 (1 + 3 x 2-58) 一 1. 


当然 , 按 实数 四 则 运算 , 答案 是 3 x 2753, 但 是 浮 点 四 则 运算 的 结果 可 能 不 同 . 


注意 到 3 x 2753 = 2-52 + 2-53. 第 一 步 加 法 是 


1{00---0]x2° + 1[10---0]x2-5? 
=1,[00000000000000000000000000000000000000000000000000000 |x 2° 
+0 [0000000000000000C00000000000000000000000000000000001 |1 x 2° 
=1,[00000000000000000000000000000000000000000000000000001 |1 x 2° 


这 对 于 含 入 规则 而 言 又 是 一 种 例外 情形 . 因为 和 中 的 第 52 位 数 是 1, 我 们 必须 上 


BA, 也 就 是 要 在 第 52 位 数 上 加 1. 这 样 便 得 到 


+1,[00000000000000000000000000000000000000000000000010] x 2°, 


它 等 于 142-5), 因此 , RE 1 WU 2-9. 它 等 于 2emach = 4x 2 53. 再 


次 注意 计算 机 四 则 运算 与 准确 四 则 运算 之 间 的 差别 . 用 MArrAB 检 验 这 一 结果 . 


< 


14 第 0 章 基 础 


MATLAB 中 的 计算 或 者 按照 IEEE 标准 进行 浮 点 计算 的 任何 编译 程序 中 的 计 
算 都 遵照 了 本 节 所 描述 的 精度 规则 , 尽管 浮 点 计算 的 结果 可 能 因为 它 不 同 于 准确 的 
四 则 运算 而 给 出 意外 的 结果 . 但 它 总 是 可 以 预测 的 . 最 近 舍 入 规则 是 一 种 典型 的 默 
URA, 但 我 们 可 以 根据 需要 通过 使 用 编译 程序 标志 改变 成 其 他 的 舍 入 规则 . 对 不 
同 的 合 入 规则 得 到 的 结果 进行 比较 , 有 时 可 作为 评估 计算 稳定 性 的 非 正规 方法 . 

你 很 可 能 会 感到 意外 , 因为 就 赁 相对 于 emacn 都 小 的 舍 入 误差 , 就 可 使 有 意义 
的 计算 溢出 . 为 此 0.4 节 将 介绍 一 种 机 制 . 更 一 般 地 , 误差 的 放大 和 适用 条 件 将 是 第 
1 章 、 第 2 章 及 其 他 地 方 反复 研究 的 主题 . 


习题 0.3 


， 把 下 列 基 为 10 的 数 转换 成 二 进 制 , 并 用 最 近 合 入 规则 把 每 个 数 表 示 成 浮 点 数 f(z): 
(a) 4; (b) 3; (©) $; (d) 09. 
把 下 列 基 为 10 的 数 转换 成 二 进 制 , 并 用 最 近 合 入 规则 把 每 个 数 表 示 成 浮 点 数 H(z); 
(a) 9.5; (b) 9.6; (c) 100.2; (d) 4. 
使 用 最 近 合 入 规则 , 依照 TEER 双 精 度 计算 机 四 则 运算 规则 , 手工 求 下 列 各 式 (用 MATLAB 
检验 你 的 结果 ): 
(a) (1+ (27 +275°)) — 1; 
(b) (1+ (27 +275? +2753)) — 1. 
使 用 最 近 含 入 规则 , HOR IEEE 双 精 度 计算 机 四 则 运算 规则 , 手工 求 下 列 各 式 : 
(a) (1+ (2-5 +275? 十 2-54)) — 1; 
(b) (1+ (275 + 2-5? 十 2-60)) — 1. 
.用 MATLAB 的 format hex 格 式 写 出 下 列 每 一 个 数 .给 出 结果 , 并 用 MATLAB 检验 你 的 
ER: 
(a) 8; (b) 21; (dB (DAG); (e) (5); 
(£) A(0.1); (g) A(—-0.1); (h) A(—0.2). 
. 在 双 精 度 浮 点 四 则 运算 中 , 使 用 IEEE 最 近 合 入 规则 , $+ 2 是 否 恰好 等 于 1? 你 需要 
用 习题 1 中 的 (5) 和 AG). 这 是 否 有 助 于 解释 规则 正如 它 所 表述 的 那样 ?如果 不 用 
IEEE 含 入 规则 而 是 把 第 52 位 数 之 后 截 去 , 这 个 和 还 相同 吗 ? 
(a) 通过 计算 (F - $) — 1, 解释 为 什么 在 计算 机 上 使 用 IEEE 双 精 度 和 IEEE SES 
入 规则 就 能 确定 机 器 ©. 
(b) ($— 3) 一 1 也 给 出 cman 吗 ? 通过 转换 到 浮 点 数 。 并 进行 这 种 计算 机 四 则 运算 来 
解释 


~ 


» 


s 


e 


a 


® 


x 
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使 用 最 近 合 入 规则 , 在 双 精度 浮 点 四 则 运算 中 确定 1 + z > 1 是 否 成 立 : 

(a) z =2-5; (b) z = 2753 十 2-60. 

对 IEEE 计算 机 加 法 来 说 , 结合 律 是 否 成 立 ? 

RH IEEE 双 精 度 表 示 式 f(z), 并 对 所 给 实数 求 出 准确 的 差 1(z) 一 r. 校 验 其 相对 舍 入 
误差 不 大 于 jemah- 

(a) c=2.75; (b)z=2.7 (c) c= 2. 


多 


© 
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11. 用 计算 器 或 者 用 MATLAB 计算 sin(10°), 你 能 保证 多 少 位 正确 的 数字 ? 对 sin(10° + 1) 
WE? 解释 你 的 理由 . 在 双 精度 计算 机 上 还 有 没有 方法 使 计算 这 个 数 更 精确 ? 
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详细 了 解 计算 机 的 四 则 运算 有 助 于 我 们 理解 计算 机 计算 中 的 潜在 失误 . 以 多 种 
形式 出 现 的 一 个 主要 问题 是 , 当 两 个 几乎 相等 的 数 相 减 时 会 损失 有 效 数 字 . 就 其 最 
简单 形式 而 言 , 问题 是 很 明显 的 . 例如 , 减法 问题 

123.4567 
一 123.4566 
0.0001 


刚 开 始 时 两 个 数 都 有 7 位 精确 数字 , 而 结束 时 结果 仅 有 1 位 精确 数字 . 尽管 这 个 例 
子 十 分 简单 明了 , 但 还 有 其 他 更 难 捉摸 的 有 效 数字 损失 的 例子 , 并 且 在 许多 情形 下 ， 
这 可 以 通过 重 构 计算 而 避免 . 

例 0.5 “在 3 位 十 进 制 数字 计算 机 上 计算 V9.01 一 3. 

这 个 例子 还 是 相当 简单 , 提出 来 仅仅 是 为 了 说 明 上 述 思 想 . 我 们 假定 使 用 3 位 
十 进 制 数字 计算 机 , 而 不 是 如 按 双 精度 IEEE 标准 格式 使 用 带 有 52 位 尾数 的 计算 
机 . 使 用 3 位 数字 计算 机 意味 着 , 存储 的 每 一 步 中 间 计 算 结果 都 是 带 有 3 位 尾数 的 
浮 点 数 . 例题 中 给 定 的 数据 (9.01 与 3.00) 具有 3 位 数字 精度 . 因为 我 们 要 用 3 位 
数字 计算 机 , 所 以 最 多 人 们 可 能 希望 得 到 的 答案 是 准确 到 3 位 数字 (因为 在 计算 中 
仅仅 有 3 位 数字 , 当然 我 们 不 能 期 望 得 到 更 多 ). 在 计算 器 上 检验 , 我 们 看 到 准确 答 
案 近 似 地 等 于 0.001 662 = 1.666 2 x 10-3. 我 们 用 3 位 数字 计算 机 得 到 了 多 少 位 正 
确 的 数字 ? 

事实 表明 , 没有 1 个 正确 的 数字 . 因为 V9.01 ~ 3.001 666 2. 当 把 这 个 中 间 结 
果 存 储 成 3 位 有 效 数字 , 就 得 到 3.00. ME 3.00 以 后 , 得 到 最 后 的 答案 是 0.00, 没 
有 一 个 有 效 数 字 是 正确 的 . 

想不到 的 是 , 即使 在 3 位 数字 计算 机 上 , 也 有 一 种 方法 可 以 挽救 这 一 计算 . 造 
成 有 效 数字 损失 的 原因 是 我 们 明显 地 把 两 个 几乎 相等 的 数 V9.01 和 3 相 减 . 用 代 
数 重新 改写 表示 式 


(v3.01 — 3)( v9.01 +3) _ 9.01 — 3? 
v9.01 — 3= = 
v9.01 +3 V9.01+3 
= Tea = ot = 0.001 67 ~ 1.67 x 10-8 


就 能 避免 这 个 问题 . 
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这 里 , 我 们 把 尾数 的 最 后 一 个 数字 四 合 五 入 为 7, 这 是 因为 它 后 面 一 个 数字 是 
6. 注意 , 使 用 这 种 方法 得 到 的 3 位 数字 都 正确 , 至 少 正确 答案 舍 入 到 的 3 位 数字 
是 正确 的 . 教训 是 , 如 果 有 可 能 , 应 寻找 一 种 避免 很 接近 的 数 相 减 的 方法 , 这 是 很 重 
要 的 . < 

上 述 例题 所 示范 的 方法 实质 上 是 一 种 技巧 ， 乘 以 “ 共 罗 式 ”往往 能 帮助 重 构 
计算 . 通常 可 以 使 用 如 三 角 公式 那样 的 特殊 恒等式 ， 例 如 , 当 z 接近 零 时 , 计算 
1 一 cosz 就 会 导致 有 效 数字 的 丢失 . 我 们 针对 某 一 范围 的 输入 数 z 来 比较 下 面 两 个 
表达 式 的 计算 : 


1—cosz 
cs sin? x a a= Tecan" 
BATE Ey 的 分 子 和 分 母 都 乘 以 1+cosz, 并 利用 三 角 恒等式 sin2z+cos2z =1 
就 得 到 了 E 这 两 个 表达 式 就 无 限 精度 而 言 都 是 相等 的 . 采用 双 精 度 MATLAB 计 
算 , 我 们 得 到 表 0-1. 右边 Ep 列 给 出 了 可 以 正确 到 的 最 多 数位 . 计算 E 时 , 由 于 
相近 的 数 相 减 , 因此 当 z < 10-5 时 , 便 会 出 现 严重 的 问题 ; 而 当 z < 10-8 时 就 不 
再 有 正确 的 有 效 数字 . 


表 0-1 
z Ey Ep 
1.000 000 000 000 00 0.649 223 205 204 76 0.649 223 205 204 76 
0.100 000 000 000 00 0.501 252 086 288 58 0.501 252 086 288 57 
0.010 000 000 000 00 0.500 012 500 208 48 0.500 012 500 208 34 
0.001 000 000 000 00 0.500 000 124 992 19 0.500 000 125 000 02 
0.000 100 000 000 00 0.499 999 998 627 93 0.500 000 001 250 00 
0.000 010 000 000 00 0.500 000 041 386 85 0.500 000 000 012 50 
0.000 001 000 000 00 0.500 044 450 291 34 0.500 000 000 000 13 
0.000 000 100 000 00 0.499 600 361 081 32 0.500 000 000 000 00 
0.000 000 010 000 00 0.000 000 000 000 00 0.500 000 000 000 00 
0.000 000 001 000 00 0.000 000 000 000 00 0.500 000 000 000 00 
0.000 000 000 100 00 0.000 000 000 000 00 0.500 000 000 000 00 
0.000 000 000 010 00 0.000 000 000 000 00 0.500 000 000 000 00 
0.000 000 000 001 00 0.000 000 000 000 00 0.500 000 000 000 00 


对 于 z = 10-4, 表达 式 E 已 经 有 几 位 不 正确 的 数字 , 而 且 当 zx 更 小 时 情况 更 
W. 等 价 的 表达 式 E 没有 相近 数 相 减 . 因此 不 存在 这 类 问题 . 

二 次 公式 经 常会 牵涉 到 有 效 数字 的 损失 . 同样 , 只 要 你 知道 如 何 重 构 表 达 式 就 
容易 避免 . 

例 0.6 RAHE z? + 912z = 3 的 两 个 根 . 

譬如 用 MATLAB 按 双 精度 四 则 运算 来 求解 . 除非 你 得 知 有 效 数字 会 失去 并 且 
知道 如 何 克 服 它 , 否则 没有 人 能 给 出 正确 答案 . 问题 是 求 两 个 根 , 假设 要 有 4 位 数 
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字 是 精确 的 . 到 目前 为 止 这 似乎 是 一 个 容易 的 问题 . 形 如 ar? + br + c= 0 的 二 次 
方程 的 根 由 以 下 二 次 公式 给 出 : 


_ —b+ VE- hac (0.12) 
2a j X 


对 我 们 的 问题 而 言 , 即 是 

-92 士 V924 十 4(3) 
= 
取 负 号 给 出 根 


zl = 一 2.824 x 10", 
它 准确 到 4 位 有 效 数 字 . 取 正 号 的 根 


—91? 二 V92 + 4(3) 
二 
MATLAB 计算 得 到 0， 尽 管 准确 答案 是 接近 零 , 但 是 这 个 答案 没有 正确 的 有 效 数 
字 一 一 即使 定义 该 问题 的 数 是 精确 给 定 的 (本 质 上 有 无 穷 多 位 准确 数字 ), 而 且 事实 
上 MATLAB 可 进行 大 约 16 位 有 效 数字 的 计算 (依据 是 , MATLAB 的 机 器 Emach 是 
2752 ~ 2.2 x 10-16). 我 们 该 如 何 解 释 求 z2 的 准确 数字 完全 失败 了 ? 

答案 是 有 效 数字 的 损失 . 显然 , 相对 而 言 , 9!2 和 V92 十 4(3) 几乎 相等 . 更 精 
确 地 说 , 作为 存储 的 浮 点 数 , 它们 的 尾数 不 但 前 几 位 相似 , 而 且 近 平 恒 等 . 当 它们 按 
照 二 次 求 根 公 式 相 减 时 , 当然 结果 是 零 . 

能 否 挽 救 这 个 计算 ? 我 们 必须 正视 有 效 数字 损失 的 问题 . 计算 zz 的 正确 方法 
是 重 构 二 次 求 根 公式 : 
b+ Ve? = 4ac _ (—b + Vb? — 4ac)(b + Vb? — 4ac) 

2a aa + Vb? — 4ac) 


—4ac 


~ Qa(b+ Ve — 4a) b+ Te Tac 


对 于 我 们 的 例子 , 只 要 代入 a,b,c, 按照 MATLAB 就 可 得 到 ra = 1.062 x 1071, 
它 具 有 要 求 精度 的 4 位 有 效 数字 . 

这 个 例子 告诉 我 们 : 在 a 或 者 (以 及 )c 相对 于 较 小 的 情形 中 , 使 用 二 ARR 
公式 (0.12) 必须 小 心 . 更 精确 地 说 , 当 4lac| < b? 时 , b Al V 本 一 4ac 几乎 大 小 相 
等 , 其 中 一 个 根 牵涉 到 有 效 数字 的 损失 . 在 这 种 情形 下 , 如 果 b 是 正 数 , 那么 两 个 根 
应 如 下 计算 : 


T= 


b+ Vb? — 4ac _ 2c 
+ Ve — hac 


(0.13) 
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YER, 上 述 两 个 公式 都 不 会 受到 几乎 相等 的 数 相 减 的 影响 . 另 一 方面 , WR b 是 负 
数 , 并 且 4lac| < b, 那么 两 个 根 最 好 如 下 计算 : 


_ -b+ VP — Tac 2c 


= š 0.14 
2a KTTT (0.14) 


习题 0.4 
.确定 对 = SENS SIL eae, 并 求 一 种 变形 以 避免 这 个 问题 : 
(a) 26-2; (b) = om z)? ; © h- 
2. 求 方程 a? +80 —8" = 0 的 根 , BER 3 位 数字 的 精度 . 
3. 说 明 如 何 最 精确 地 计算 方程 z? + bz — 10-22 = 0 的 两 个 根 , 其 中 b 是 大 于 100 的 数 . 
A. 证 明 公式 (0.14). 
计算 机 问题 0.4 
1. 对 于 s= 1071, 107, 按照 双 精度 四 则 运算 , 计算 下 面 的 表达 式 (Wu MATLAB ). 
然后 用 不 会 让 两 个 几乎 相等 的 数 相 减 的 另 一 种 形式 , 再 计算 一 遍 , 并 列 结果 表 . 说 出 对 每 
一 个 z, 原来 表达 式 中 准确 数字 的 位 数 : 
(a) (ats (b) SOS. 
R p 的 最 小 值 , 使 得 用 双 精 度 四 则 运算 计算 下 列表 达 式 在 z = 107? 处 没有 准确 的 有 效 
数字 (提示 : 先 求 当 z 一 0 时 表达 式 的 极限 ): 
(a) ms tan $s; (b) ens ying 2 
省 直 两 直角 边 的 边 发 分 别 是 3 344 556 600 和 1.222 222 2 的 直角 三 角形 . 问 斜 边 相 比较 
长 的 直角 边 长 多 少 ? 给 出 至 少 有 4 位 准确 数字 的 答案 . 


0.5 ” 微 积 分 回顾 


以 后 将 需要 微 积分 的 某 些 重要 基础 知识 . 介 值 定理 和 中 值 定理 对 第 1 章 中 的 
方程 求解 很 重要 . Taylor 定理 对 理解 第 3 章 中 的 插值 很 重要 , 并 对 第 6~8 章 中 微分 
方程 的 求解 也 是 至 关 重要 的 . 

连续 函数 的 图 形 没 有 间断 . 例如 , 若 某 函数 对 某 一 z 值 为 正 而 对 另 一 z 值 为 
th, 那么 它 必 在 某 处 为 零 . 这 个 事实 是 第 1 章 方程 解法 的 基础 . 下 面 第 一 个 定理 阐 
述 了 这 一 思想 . 

定理 0.4( 介 值 定理 ) KS 是 区 间 [a,b] 上 的 一 个 连续 函数 , MA f KS) f(a) 
和 f(b) 之 间 的 任 一 个 值 . 更 精确 地 说 , 如 果 Y 是 f(a) 和 f(b) 之 间 的 一 个 数 , 那么 
存在 一 个 数 cla < c< b) 使 得 f(c) =. 

例 0.7 证 明 f(x) = z? 一 3 在 区 间 [1,3] 上 必 取 到 值 0 和 1. 

因为 f(1) = -2, f(3) = 6, 所 有 在 -2 和 6 之 间 的 值 , 包含 0 和 1, 均 可 被 了 取 
到 . 例如 , W c= V3, WE f(c) = f(V3) = 0, 其 次 又 有 f(2) =1. a 


a 


» 


bg 
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定理 0.5( 连 续 函 数 的 极限 ) H f 是 在 zo 的 某 一 邻 域内 的 连续 函数 ， 并 且 

jim tn = To, 那么 
lim f(zn) = f (Jim sn) = f(z0). 

换言之 , 极限 可 以 取 到 连续 函数 里 边 . 

定理 0.6( 中 值 定理 ) Kf 是 在 区 间 [a,b] 上 的 连续 可 微 函 数 , 那么 在 a fob 
之 间 存 在 一 个 数 c, 使 得 f'l) = 人 19. 

例 0.8 ”在 区 间 [1, 3] 上, 对 f(z) = z? - 3 应 用 中 值 定理 . 

因为 f(1) = -2, f(3) = 6, 中 值 定理 的 内 容 是 在 区 间 [1,3] 中 存在 数 c 满足 
Fo) = GP = 4. 容易 求 出 这 样 的 c. 由 于 f(z) = 2z, 因此 正确 的 c=2. < 

下 面 的 陈述 是 中 值 定理 的 一 个 简单 推论 . 

定理 0.7(Rolle E) Kf RAL [a,b] 上 的 连续 可 微 函 数 , 并 假定 f(a) = 
f(b), 那么 在 a Fob 之 间 存 在 一 个 数 c, 使 得 f(c) = 0. 

如 果 已 知 f 在 点 z 处 的 值 ， 那么 就 能 获得 附近 点 的 许多 信息 . 例如 ,假如 
f(z) > 0, ABA, 在 右边 的 邻近 点 处 f 有 较 大 的 值 , 而 在 左边 的 邻近 点 处 有 较 小 
的 值 , Taylor 定理 利用 在 z 处 的 导数 给 出 了 在 z 的 小 邻 域内 函数 值 的 完全 估计 . 

定理 0.8( 带 余 项 的 Taylor EH) ih x 和 zo 是 实数 , f 在 区 间 [zo,z]( 或 
[z,zT0]) 上 k 十 1 次 连续 可 微 , 那么 在 c 与 Zo 之 间 存 在 一 个 数 c, 使 得 


Hla) = flee) + (2 a0)f (o) + ESE p(o) + ETZ prao) 


(a =a) FO (x 一 zo)t+1l JetD(a)， 


+1)! 

上 式 中 的 多 项 式 部 分 , 即 (z — 20) 的 上 次 项 之 前 部 分 , 称 为 f 在 以 zo 为 中 心 
的 邻 域 上 的 k 次 Taylor 多 项 式 . 最 后 一 项 称 为 Taylor 余 项 . 在 Taylor 余 项 是 一 个 小 
量 的 情形 下 , Taylor 定理 给 出 了 一 种 方法 , 用 多 项 式 去 近似 一 般 的 光滑 函数 . 在 用 
计算 机 求解 问题 时 , 这 是 非常 方便 的 . 诚 如 前 面 提 到 的 , 能 非常 有 效 地 计算 多 项 式 . 

例 0.9 求 f(z) = sinz 在 以 点 zo = 0 为 中 心 的 邻 域 上 的 4 次 Taylor 多 项 式 
Py(x). 使 用 Pu(z) 来 计算 sinz 在 |z| < 0.000 1 时 的 值 , 估计 最 大 可 能 误差 . 

容易 求 出 多 项 式 是 P(x) = z 一 F. 注意 4 次 项 没有 出 现 , 这 是 因为 它 的 系数 
为 0. 余 项 是 


tet Zo) + 


zË 

720 COS C， 
它 的 绝对 值 不 可 能 大 于 EE. 对 于 |z| < 0.000 1, RARE 1, 譬如 在 双 
精度 下 用 r- E 来 近似 代替 sin 0.000 1 将 看 不 到 上 述 余 项 . 可 在 Martas 的 计算 
中 检验 这 一 结论 . 4 
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最 后 给 出 中 值 定理 的 积分 形式 : 
定理 0.9( 积 分 形式 的 中 值 定理 ) Rf ARM [a, 上 的 连续 函数 , g 是 可 积 


BK, HAA [ab] 上 不 变 号 , MAL [a,b] 内 存在 一 个 数 c, 使 得 


b b 
| t@a@ae = 110 | oa 


习题 0.5 


1 


3. 


用 介 值 定理 证 明 : 存在 c HO <c<1 ft f(c) =0. 

(a) j(z) = za 一 4z+1 (b) f(z)=5cosnz—4; (c) f(x) = 8z4 — 8r? +1. 
对 于 在 区 间 [0, 1) 上 的 f(x), 求 满足 中 值 定 理 的 c. 

(a) f(z) =e"; (b) f(@)=27; (c) f(z)= zh- 

对 于 区 间 [0, 1] 上 的 f(z),9g(z), 求 满足 积分 形式 中 值 定理 的 c 

(a) f(x) = z,g(z) = 2"; (b) f(z) =27,9(z)=2; (c) f(z) =2,9(z) = è. 


。 求 以 下 函数 在 点 z = 0 处 的 二 次 Taylor 多 项 式 : 


(a) f(e)=e"; (b) f(z) = cos5z; (c) f(x) = ay. 


， 求 以 下 函数 在 点 = = 0 处 的 5 次 Taylor 多 项 式 : 


(a) f(@) =e"; (b) f(z)=cos2z; (c) f(z)=In(1+2); (d) f(z) = sin? s. 


(a) R f(z) = 2°? 在 点 z= 1 处 的 4 次 Taylor SMX; 


(b) 用 (a) 的 结果 计算 f(0.9) 和 f(1.1) 的 近似 值 ; 

(c) 利用 Taylor RI, R Taylor 多 项 式 的 误差 公式 . 对 (b) 中 得 到 的 两 个 近似 值 给 出 
误差 界 . 你 认为 (b) 中 两 个 近似 值 哪 一 个 更 接近 准确 值 ? 

(d) 在 每 一 种 情形 下 , 用 计算 器 把 实际 误差 与 (c) 中 得 到 的 误差 界 进行 比较 . 


. 对 f(x) = Inz, 做 习题 6(a) 一 6(d). 
，(a) R f(z) = cosz 在 以 z = 0 为 中 心 的 邻 域 上 的 5 次 Taylor 多 项 式 P(x); 


(b) 4a  [—%, 4] 中 时 , 用 P(x) 近似 代替 f(z) = coss, 求 其 误差 的 上 界 . 


a4 


. 当 z 是 小 量 时 ，VI 十 z 通常 的 近似 是 1 + fo. 用 带 有 余 项 的 f(z) = VIFT 的 一 次 


Taylor 多 项 式 去 求 形 如 VIFT = 1 十 #2 士 忆 的 公式 . 并 就 近似 V1.02 的 情形 , 计算 E 
的 值 . 用 计算 器 比较 实际 误差 与 你 的 误差 界 巨 . 


软件 和 进一步 阅读 


浮 点 运算 的 IEEE 标准 可 以 在 [3] 中 找到 . 原始 资料 [1, 6] 相当 详细 地 讨论 了 浮 点 运算 ， 


新 近 出 版 的 [5] 强调 了 IEEE 754 标准 . Wilkinson 的 著作 [7] 与 Knuth 的 著作 [4] 对 硬件 和 
软件 的 发 展 有 重大 的 影响 . 


有 一 些 软件 包 主 要 用 于 一 般 目的 的 科学 计算 问题 , 其 中 大 部 分 都 是 浮 点 运算 . 由 AT& T 


贝尔 实验 室 、 田 纳西 大 学 、 橡 树 岭 国家 实验 室 共同 维护 的 Netlib(http: //www.netlib.org) 收 
集 了 免费 的 软件 . 这 些 软件 包括 用 Fortran, C 和 Java 编写 的 高 质量 的 程序 , 但 几乎 不 提供 技 
术 支 持 . 代码 中 的 注释 对 用 户 使 用 这 些 程序 给 出 了 足够 充分 的 指导 . 
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数值 算法 集团 (Numerical Algorithms Group, NAG)(http://www.nag.co.uk) 出 售 可 解 
一 般 应 用 型 数学 问题 的 1 400 多 个 用 户 可 调用 子 程序 的 软件 库 . 这 些 程序 中 有 以 Fortran 和 
C 语言 编写 的 , 也 可 从 Java 程序 环境 调用 中 . NAG 包括 的 程序 库 可 用 于 共享 存储 器 及 分 布 
式 存储 计算 . 

IMSL 数值 软件 库 由 美 商 威 能 信息 公司 (Visual Numerics, INC.)(http://www.vni.com) 
出 品 , 除 与 NAG 软件 库 有 类 似 的 覆盖 领域 外 , 它 还 提供 可 进行 数据 分 析 及 可 视 化 操作 的 强大 
的 编程 语言 PV 一 WAVE. 

计算 环境 Mathematica, Maple 及 MATLAB 都 在 发 展 , 包含 了 许多 如 前 所 述 的 相同 的 计 
算 方法 , 并 提供 了 内 置 的 编辑 及 图 形 接口 Mathematica(http://www.wolframresearch.com) 
和 Maple(www.maplesoft.com) 由 于 具备 新 颖 的 符号 计算 功能 而 著名 , MATLAB 通过 将 基本 的 
高 质量 软件 应 用 于 各 个 不 同 的 方面 的 “工具 箱 ” 而 服务 于 科学 与 工程 应 用 领域 . 

本 书 中 , 我 们 常常 利用 MATLAB 程序 来 说 明基 本 算法 , 所 给 的 MATLAB 代码 只 是 用 来 说 
明 算 法 而 已 . 为 清晰 简明 及 阅读 方便 起 见 , 速度 与 可 靠 性 经 常 不 予 考虑 . 对 MATLAB 不 熟悉 的 
读者 应 从 附录 B 的 指南 出 发 , 相信 很 快 就 能 学 会 编制 自己 的 实现 程序 . 
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最 近 发 据 出 的 模 形 小 片 表明 ， 古 巴比伦 人 在 计算 2 的 平方 根 时 能 够 精确 到 5 
位 小 数 . 他 们 的 技巧 尚 无 人 知晓 , 但 本 章 将 介绍 他 们 可 能 使 用 过 的 迭代 法 , 而 且 这 
种 选 代 法 仍 被 现代 的 计算 器 用 于 求 平方 根 . 

Stewart 平台 , 原 是 邓 禄 普 轮 胎 公司 的 Eric Gough 在 20 世纪 50 年 代 开发 的 
能 精确 定位 的 有 6 个 自由 度 的 机 器 人 , 当时 用 于 检查 飞机 轮胎 . 它 在 制造 大 型 飞行 
模拟 器 以 及 一 些 要 求 高 精度 的 领域 (比如 医学 和 外 科 手 术 ) 中 具有 独特 的 优点 ， 解 
前 向 运动 学 问题 需要 确定 在 给 定 支柱 长 度 时 平台 的 位 置 和 定向 . 

实例 检验 ”本 章 末 的 实例 检验 1 使 用 第 1 章 中 的 方程 解法 , 用 于 解 平面 形式 
的 Stewart 平台 的 前 向 运动 学 问题 . 


方程 求解 是 科学 计算 中 最 基本 的 问题 之 一 . 本 章 介 绍 寻 找 方程 f(z) = 0 的 解 
z 的 许多 迭代 方法 , 这 些 方法 也 具有 十 分 重要 的 实用 价值 . 此 外 , 这 些 方法 阐明 了 收 
敛 性 和 复杂 性 在 科学 计算 中 的 核心 作用 . 

为 什么 需要 知道 不 止 一 种 方法 来 解 方程 ”方法 的 选择 经 常 取决 于 计算 函数 f 
的 值 或 者 其 导数 值 的 代价 . 假设 f(z) = ez — sins, 那么 大 约 需 要 用 千 分 之 几 秒 就 
可 以 确定 f(x), 并 且 如 果 需 要 的 话 , 它 的 导数 也 可 求 得 . WR f(z) 表示 乙烯 乙 二 醇 
溶液 在 z 个 大 气压 强 下 的 冰点 , 在 具有 良好 设备 的 实验 室 中 算 每 一 个 函数 可 能 需 
用 相当 长 的 时 间 来 计 , 并 且 确 定 导数 值 可 能 办 不 到 . 

除了 介绍 诸如 对 分 法 、 不 动 点 迭代 及 Newton 法 外 , 我 们 还 将 分 析 它 们 的 收敛 
速度 并 讨论 它们 的 计算 复杂 性 . 稍 后 , 我 们 还 将 提出 更 复杂 的 方程 解法 , 包括 结合 
了 几 种 解法 之 长 处 的 Brent 方法 . 


1.1 对 分 法 


如 何在 一 本 陌生 的 电话 短 中 查找 名 字 ? 要 查找 “Smith”, 你 可 能 一 开始 把 书 翻 
到 你 的 最 佳 估计 , 譬如 说 字母 Q. 下 一 步 你 可 能 一 下 子 翻 到 字母 U 处 . 现在 你 已 经 
把 名 字 Smith“ 括 ”了 起 来 , 并 且 通 过 缩小 括号 范围 来 找到 它 , 这 些 括号 最 终 会 收敛 
于 你 要 找 的 名 字 . 对 分 法 代表 了 这 类 尽 可 能 有 效 地 执行 的 推理 类 型 . 
111 根 隔离 法 

定义 1.1 如果 f(r) = 0, 那么 函数 f(z) Æ r=r 处 有 一 个 根 . 


11 对 分 法 23 


解 方程 的 第 一 步 是 证 明 根 存在 . 确保 这 一 点 的 一 种 方法 是 把 根 括 住 : 在 实 轴 上 
找 一 个 区 间 [a,b], 使 数 对 {f(a), f(b)} 的 一 个 数 是 正 的 , 而 另 一 个 是 负 的 . 这 可 以 
表示 为 f(a)f(b) < 0. WR f 是 连续 函数 , 那么 将 有 一 个 根 : 在 a 和 bb 之 间 的 一 个 
数 r 使 得 f(r) = 0. 介 值 定理 0.4 的 如 下 推论 概括 了 这 一 事实 . 

定理 1.2 Kf ABA [a,b] 上 的 连续 函数 , 满足 f(a)f(b) <0. 那么 了 在 a 
和 日 之 间 有 一 个 根 , 即 存在 一 个 数 r 满足 a <7 <b 以 及 f(r) = 0. 

在 图 1-1 中 , f(0)f(1) = (-1)(1) < 0. 有 一 个 根 恰 好 在 0.7 的 左边 . 如 何 能 把 
我 们 对 根 的 位 置 的 最 初 估计 精确 到 更 多 位 的 小 数 ? 


Y 


1 


图 1-1 f(c)=c%+2-1 的 图 形 : 函数 在 0.6 和 0.7 之 间 有 一 个 根 


当 给 定 函数 图 形 时 , 我 们 将 从 目测 求解 的 方法 中 得 到 启发 ， 我 们 不 可 能 从 区 
间 的 左 端 点 开始 向 右 移 动 , 然后 在 根 那里 停止 . 也 许 更 好 的 方法 是 用 目测 先 确定 一 
个 大 概 的 位 置 , 譬如 这 个 根 到 底 是 偏向 于 区 间 的 左边 还 是 右边 , 然后 更 精确 地 确定 
根 位 于 右边 多 远 或 者 左边 多 远 , 并 且 逐 步 提高 精度 , 正如 在 电话 适中 查找 名 字 一 样 . 
如 图 1-2 所 示 , 这 种 一 般 方法 将 在 对 分 法 中 详细 叙述 . 


图 1-2 ”对 分 法 : 第 一 步 , 检查 f(co) 的 符号 , 因为 f(co)f(bo) < 0, 所 以 
取 ai = co, b1 = bo, 并 且 用 右 半 区 间 (ar, bi] 代替 原 区 间 [ao, bo); 
第 二 步 , 用 左 半 区 间 [az, bo] 代替 [a1, bi] 
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对 分 法 
给 定 初始 区 间 [a,b], 使 f(a) f(b) < 0 
while (b — a)/2 <TOL 
c= (a+b)/2 
if f(c) = 0,stop, end 
if f(a)f(c) <0 
b=c 
else 
a=c 
end 
end 


最 后 得 到 的 区 间 fa, b) 包含 一 个 根 . 
近似 根 是 (a + b)/2. 


检查 函数 在 区 间 的 中 点 c= (a + 5)/2 的 值 . 由 于 f(a) 和 f(b) 反 号 , 所 以 不 
是 f(c) = 0( 这 时 已 完成 求 根 ), 就 是 f(c) 的 符号 与 f(a) 或 f(b) 的 符号 相反 . 如 果 
f (of(a) < 0, 那么 就 能 确定 有 一 个 根 在 区 间 [a, <] H, 它 的 长 度 是 原 区 间 [a,b] 的 一 
Æ. 如 果 f(c)f(b) < 0, 那么 区 间 [cb] 就 有 同样 的 性 质 . 无 论 哪 种 情形 , 下 一 步 就 把 
问题 化 为 在 原 区 间 长 度 一 半 的 区 间 中 求 根 . 重复 这 个 步骤 就 能 越 来 越 精确 地 求 得 函 
数 的 根 . 

通过 每 一 步 用 新 的 区 间 括 住 根 , 当 区 间 变 小 时 根 的 位 置 的 不 确定 度 降低 了 . 我 
们 不 需要 知道 函数 的 全 图 . 我 们 已 把 求 函 数值 的 工作 简化 到 那些 必要 的 步骤 . 

Bl 1.1 在 区 间 [0,1] 上 , 用 对 分 法 求 函 数 f(z) = za +z — 1 的 根 . 

正如 先前 指出 的 ,f(ao)f(bo) = (—1)(1) < 0, 所 以 在 区 间 内 存在 一 个 根 . 区 间 
中 点 是 co = 9. 第 一 步 算出 了 (4) = -i < 0, 故 选择 新 的 区 间 [obj] = [2,1], 
这 是 因为 F(A) F(1) < 0. 第 二 步 算出 f(a) = AG) = H > 0 从 而 得 到 新 的 区 间 
laz, ba] = [4,3]. 继续 使 用 这 种 方法 得 到 表 1-1 所 示 的 区 间 . 由 该 表格 可 以 推断 , 解 


表 1-1 
i ay f(ai) ĉi F(ci) bi f(bi) 
0 0.0000 = 0.500 0 一 1.000 0 + 
1 0.500 0 - 0.750 0 + 1.000 0 + 
2 0.500 0 - 0.625 0 - 0.750 0 + 
3 0.625 0 - 0.687 5 + 0.750 0 > 
4 0.625 0 - 0.656 2 - 0.687 5 + 
5 0.656 2 - 0.671 9 = 0.687 5 + 
6 0.671 9 - 0.679 7 一 0.6875 十 
7 0.679 7 - 0.683 6 + 0.687 5 + 
8 0.679 7 - 0.681 6 - 0.683 6 + 
9 0.681 6 - 0.682 6 + 0.683 6 + 
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被 括 在 ay ~ 0.681 6 和 ce ~ 0.682 6 之 间 . 这 个 区 间 的 中 点 cio ~ 0.682 1 就 是 对 根 
的 最 佳 估计 . 

虽然 问题 是 求 根 , 实际 上 我 们 求 得 的 是 包含 根 的 区 间 [0.681 6, 0.682 6], KAZ, 
AR r = 0.682 1 土 0.000 5. 它 必须 满足 某 种 精度 . 当然 , 如 果 需 要 , 可 以 通过 执行 更 多 
步 的 对 分 法 来 提高 精度 . < 

在 对 分 法 的 每 一 步 中 我 们 求 出 当前 区 间 [ai,b] 的 中 点 ci = (ai + b)/2, 计算 
f(ci) 并 且 比 较 符号 . 如 果 f(ci)f(ai) < 0, 我 们 取 aiti = ai 及 bins = c 如果 相反 
即 f(ci)f(ai) > 0, MAR aiti = ci 及 bini = bi. 每 一 步 需要 计算 一 次 函数 f(z) 的 
值 , 并 要 对 分 包含 根 的 区 间 , 把 区 间 长 度 减 半 . 在 计算 n 步 的 c 和 f(c) 之 后 , 我 们 
已 经 进行 ”+ 1 次 函数 求 值 , 而 且 我 们 对 解 的 最 好 估计 是 最 后 一 个 区 间 的 中 点 . 这 
个 算法 可 以 写成 以 下 的 MATLAB 代码 . 


%Program 1.1 Bisection Method 
%Computes approximate solution of f(x)=0 
%Input: inline function f, a,b such that f(a)*f£(b)<0, 
% and tolerance tol 
%Output: Approximate solution xc 
function xc=bisect (f,a,b,tol) 
if sign(f(a))*sign(f(b)) >= 0 
error('f(a)£(b)<0 not satisfied!') tceases execution 
end 
fa=f(a); 
fb=f (b); 
k=0; 
while (b-a)/2>tol 
c= (a+b) /2; 
fc=f (c); 
if fe == %c is a solution, done 
break 
end 
if sign(fc)*sign(fa)<0 %a and c make the new interval 
b=c; fb=fc; 
else %c and b make the new interval 
asc; fasfc; 
end 
end 
xc= (a+b) /2; %new midpoint is best estimate 


为 了 调用 bisect.m, 首先 定义 一 个 MATLAB 内 联 函 数 : 
>> f=inline (x’x73+x-1’); 
则 命令 


>> xc=bisect (f,0,1,0.00005) 
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返回 的 解 精确 到 0.000 05. 
1.1.2 ”算法 的 精度 和 速度 


WOR [a,b] 是 初始 区 间 , 那么 n 次 对 分 步骤 之 后 , 区 间 [an,bn] 的 长 度 是 b- 
aj/2". 选取 中 点 ze = (an + bn)/2 作为 对 解 7 的 最 好 估计 , 它 在 真 解 的 半 个 区 间 长 
度 之 内 . 总 结 一 下 , 对 分 法 进行 n 步 之 后 , 我 们 求 得 


解 的 误差 = |z。 -r| < i. (1.2) 
计算 函数 值 的 次 数 = +2. (1.2) 


评估 对 分 法 效率 的 一 种 较 好 的 方法 是 : 每 计算 一 次 函数 值 , 精度 能 提高 多 少 . 
每 一 步 或 者 每 计算 一 次 函数 值 , 根 的 不 确定 度 减少 到 原来 的 1/2. 

定义 1.3 ”如 果 误 差 小 于 0.5 x 10-?, 那么 解 精 确 到 p 位 小 数 . 

例 1.2 ”在 区 间 [0,1] 中 用 对 分 法 求 f(z) = cosz — x 的 根 , 精确 到 6 位 小 数 . 

首先 我 们 决定 需要 进行 多 少 步 对 分 法 . 根据 (1.1), 在 n 步 之 后 的 误差 是 (b - 
a)/2 + = 1/2"+1. 根据 精确 到 p 位 小 数 的 定义 , 我 们 需要 


1 
2nf+i 


<0.5 x 10-8, 
fat Ke 
loglo2 0.301 


因此 , 将 需要 n = 20 25. 用 对 分 法 进行 下 去 , 可 以 得 到 表 1-2. 精确 到 6 位 小 数 的 


= 19.9. 


近似 解 是 0.739 085. 4 
表 1-2 

k ak flar) Ck f(cx) brk f(bx) 
0 0.000 000 + 0.500 000 + 1.000 000 一 
1 0.500 000 + 0.750 000 一 1.000 000 一 
2 0.500 000 + 0.625 000 + 0.750 000 = 
3 0.625 000 + 0.687 500 + 0.750 000 - 
4 0.687 500 + 0.718 750 + 0.750 000 = 
5 0.718 750 + 0.734 375 人 0.750 000 = 
6 0.734 375 中 0.742 188 = 0.750 000 5 
7 0.734 375 + 0.738 281 + 0.742 188 E 
8 0.738 281 sie 0.740 234 = 0.742 188 kaa 
9 0.738 281 + 0.739 258 - 0.740 234 - 
10 0.738 281 + 0.738 770 + 0.739 258 - 
11 0.738 769 + 0.739 014 + 0.739 258 一 


( 续 ) 
k ak flar) Ck F(ck) br F (bx) 
12 0.739 013 + 0.739 136 = 0.739 258 = 
13 0.739 013 + 0.739 075 + 0.739 136 一 
14 0.739 074 + 0.739 105 一 0.739 136 一 
15 0.739 074 + 0.739 090 一 0.739 105 = 
16 0.739 074 ‘+ 0.739 082 + 0.739 090 一 
17 0.739 082 + 0.739 086 一 0.739 090 一 
18 0.739 082 + 0.739 084 + 0.739 086 - 
19 0.739 084 + 0.739 085 = 0.739 086 - 
20 0.739 084 + 0.739 085 = 0.739 085 一 


对 于 对 分 法 来 说 , 运行 多 少 步 的 问题 是 一 个 简单 问题 一 一 只 要 像 (1.1) 那样 选 
取 所 要 的 精度 , 然后 就 能 求 出 必需 的 步骤 数 . 我 们 将 看 到 更 大 的 算法 往往 不 好 预测 ， 
而 且 也 不 同 于 (1.1). 在 那些 情形 中 , 我 们 将 建立 明确 的 “停止 准则 ”, 来 控制 算法 终 
止 的 条 件 . 甚至 对 于 对 分 法 , 计算 机 运算 的 有 限 精度 也 会 对 可 能 正确 的 数字 个 数 给 
出 限制 . 我 们 将 在 1.3 节 进 一 步 探讨 这 个 问题 . 


习题 1.1 


1. 
2. 
3. 


.考虑 习题 2 中 的 方程 , 执行 两 步 对 分 法 , 求 一 个 真 解 的 二 以 内 的 近似 根 . 
5. 


加 


用 介 值 定理 求 长 度 为 1 的 区 间 , 使 它 包含 以 下 方程 的 根 : 

(a) za = 9; (b) 329+2?=2+5; (c) cos*z+6=Zz. 

用 介 值 定理 求 长 度 为 1 的 区 间 , 使 它 包 含 以 下 方程 的 根 : 

(a) zs+z=1; (b)sinz=6z+5 (ec)Inz+z?=3. 

考虑 习题 1 中 的 方程 , 执行 两 步 对 分 法 , 求 一 个 真 解 的 寺 以 内 的 近似 根 . 


考虑 方程 z4 = z3 + 10. 
(a) 求 一 个 长 度 为 1 的 区 间 [a,b], 使 方程 在 其 中 有 一 个 解 . 
(b) 以 [a,b] 开始 , 要 算出 在 1070 之 内 的 解 需要 用 多 少 步 对 分 法 ? 用 整数 回答 . 


.假定 初始 区 间 为 [一 2, 1], 用 对 分 法 求 函 数 f(z) = 3 的 根 , 此 方法 收敛 于 实数 吗 ? 它 是 


根 吗 ? 


计算 机 问题 1.1 
1. 用 对 分 法 求 根 , 精确 到 6 位 小 数 . 


2 


3. 


(a) zs =9; (b) 32°+2?=2+5; (c) cos’z+6= rz. 


. 用 对 分 法 求 根 , 精确 到 8 位 小 数 . 


(a) zs5+z=1 (b)sinz=6r+5; (c) nc+2?=3. 


. 用 对 分 法 求 以 下 方程 的 所 有 解 . 用 MATLAB 中 的 plot 命 令 来 画 出 函数 的 图 像 ， 并 且 确 定 


包含 根 的 长 度 为 1 的 3 个 区 间 . 然后 求 根 , 精确 到 6 位 小 数 . 
(a) 2z3 -6z 一 1=0; (b) e*?+2°-2=0; (c) 1+5z-— 6z" -— e” =0. 


4. 用 对 分 法 解 z? - 4 = 0, 计算 以 下 数 的 平方 根 , 精确 到 8 位 精确 小 数 . 这 里 的 A 是 (a)2， 
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(b)3, (c)5. 指出 你 的 初始 区 间 以 及 所 需要 的 步 数 . 

用 对 分 法 解 z? 一 A = 0, 计算 以 下 数 的 立方 根 , 精确 到 8 位 精确 小 数 . 这 里 的 4 是 (a)2, 
(b)3, (c)5. 指出 你 的 初始 区 间 以 及 所 需要 的 步 数 . 

用 对 分 法 计算 cosz = sins 在 区 间 [0, 1] 中 的 解 , 精确 到 6 位 小 数 . 

用 对 分 法 求 精确 到 6 位 小 数 的 两 个 实数 z, 它们 使 得 矩阵 


x 


ns 


1 
4 

7 2 8 9 
z 10 1 12 
的 行列 式 等 于 1 000. 对 于 你 求 出 的 每 一 个 解 , 计算 相应 的 行列 式 并 进行 检查 , 报告 当 用 
你 的 解 时 , 这 个 行列 式 有 多 少 位 精确 小 数 (小 数 点 后 面 )( 在 1.2 节 中 , 我 们 称 它 为 与 近似 
解 相关 的 “后 向 误差 ”. 可 以 用 Marian 的 det 命 令 来 计算 行列 式 . 

Hilbert 和 矩阵 是 n x n 矩阵, 其 中 第 i 行 第 j 列 元 素 是 1/(i +j- 1). 设 4 表示 5x5 
阶 的 Hilbert 矩阵 , 它 的 最 大 特征 值 大 约 是 1.567， 用 对 分 法 确定 怎样 改变 左上 角 元 素 
An 使 4 的 最 大 特征 值 等 于 n An 的 值 要 求 精确 到 6 位 小 数 ， 可 以 用 MATLAB fir 
令 hilb、pi、eig 和 max 简 化 你 的 工作 . 

把 1 立方 米 的 水 放 在 半径 为 1 米 的 球形 饶 里 , 求 水 能 达到 的 高 度 . 你 的 答案 精度 要 求 为 
土 1 毫米 . (提示 : 注意 到 球 铅 中 的 水 不 到 一 半 . EREZA R, 水 面 到 球 底部 高 度 为 H, 
则 水 的 体积 是 xH?(R —1/3H).) 


1.2 不 动 点 迭代 


用 计算 器 或 计算 机 对 任 一 个 初始 数 重复 应 用 余弦 函数 . 如 果 你 用 计算 器 , 确保 
是 在 弧度 模式 下 进行 的 . 继续 上 面 的 步骤 直到 数字 不 再 改变 . 结果 得 到 的 数列 至 少 
前 10 位 小 数 将 收敛 到 0.739 085 133 2. 本 节 的 目的 是 解释 这 种 计算 (不 动 点 迭代 
(EPI) 的 一 个 例子 ) 为 什么 会 收敛. 随后 也 将 讨论 算法 收敛 性 的 主要 问题 . 


1.2.1 ”函数 的 不 动 点 


通过 迭代 计算 余弦 函数 记 产 生 的 数列 收敛 于 数 r. 余弦 的 连续 使 用 并 不 改变 这 
个 数 . 对 这 个 数 , 余弦 函数 的 输出 等 于 输入 , 或 者 说 cosr = r. 

定义 1.4 ”如果 g(7) =r, 那么 实数 7 是 函数 9 的 一 个 不 动 点 (fixed point). 

数 r = 0.739 085 133 2 是 函数 g(z) = cosz 的 一 个 近似 不 动 点 . 函数 g(z) = zs 
有 3 个 不 动 点 : r= 一 1,0, 1. 

我 们 用 例 1.2 中 的 对 分 法 去 解 方程 cosz — z = 0. 不 动 点 方程 cosz = z 是 从 
不 同 的 视角 提出 的 同一 问题 . 当 输 出 等 于 输入 时 , 那个 数 便 是 cosz 的 一 个 不 动 点 ， 
同时 也 是 方程 cosz — z = 0 的 一 个 解 . 


2 


s 
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一 旦 方程 写成 g(z) = z, 通过 初始 估计 (initial guess)zo 开始 迭代 计算 函数 g, 
不 动 点 迭代 就 开始 了 . 


不 动 点 选 代 
zi 二 初始 估计 ， 
tiy =9(ts), i=0,1,2,... 
由 此 可 知 : 
21 一 g(zo)， 
Z2 一 g(z1)， 
23 一 g(z2)， 


当 步 数 趋 于 无 穷 时 , 数列 ri 可 能 收敛 , 也 可 能 不 收敛 . 然而 , 如 果 9 连续 而 且 zi 收 
XK (局 如 收敛 到 数 r), 那么 r 就 是 一 个 不 动 点 . 事实 上 , 定理 0.5 意味 着 


gr) =9 (jim zi) = lim g(z;) = lim zi+l =r. (1.3) 
ioo i= i= 


用 于 内 联 函数 9 的 不 动 点 迭代 算法 容易 写成 以 下 MATLAB 代码 : 


%Program 1.2 Fixed-Point Iteration 

%Computes approximate solution of g(x)=x 

%Input: inline function g, starting guess x0, 

% number of iteration steps k 

%Output: Approximate solution xc 

function xc=fpi(g, x0, k) 

x(1)=x0; 

for i=1:k 
x(i+1)=g (x(i)); 

end 

x' %transpose output to a column 

xc=x(k+1); 


每 一 个 方程 f(z) = 0 都 能 转化 成 一 个 不 动 点 问题 g(z) = 2 吗 ? 是 的 , 而 且 有 
许多 不 同 的 方式 . 例如 , 在 例 1.1 中 的 求 根 方程 
a+z-1=0 (1.4) 


能 写成 
z=1-2', (1.5) 


因此 , 我 们 可 以 定义 g(x) = 1-23. 另外 , (1.4) 中 的 z3 这 一 项 能 单独 列 出 来 , 得 到 
z= yir, (1.6) 
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这 里 的 g(z) = Y- 第 3 种 方法 并 不 是 很 明显 , 我 们 可 以 在 (1.4) 两 边 加 上 22%, 


得 到 
303 +r =1 +22, 
(3a? + 1)z = 1+ 223, 
_ 14225 
T= T4302’ 


因此 , 可 以 定义 g(z) = (1 + 22%)/(1 + 32%). 


(1.7) 


下 面 对 前 面 选取 的 3 种 g(z) RAAB AGAR. 其 实 我 们 求解 的 方程 是 z3 + 
z-1=0. 首先 , 考虑 形式 r = g(z) = 1 一 z3, 初始 点 zo = 0.5 是 任 选 的 . 应 用 FPI 


得 到 表 1-3. 
表 1-3 


Zi 


0.500 000 00 
0.875 000 00 
0.330 078 13 
0.964 037 47 
0.104 054 19 
0.998 873 38 
0.003 376 06 


aana wne ojs 


0.999 999 96 
0.000 000 12 
1.000 000 00 
0.000 000 00 
1.000 000 00 
0.000 000 00 


迭代 并 不 收敛 而 是 交替 地 趋 于 0 和 1 这 两 个 数 . 因为 g0) = 1, g(1) = 0, 所 以 
这 两 个 数 都 不 是 不 动 点 . 不 动 点 迭代 失败 . 用 对 分 法 我 们 知道 , 如 果 f 在原 区 间 连 
续 , 而 且 f(a) f(b) < 0, 则 必 收敛 于 根 , 但 对 于 FPI 并 不 是 如 此 . 
第 二 种 选取 是 g(z) = YT, 我 们 将 使 用 相同 的 初始 估计 zo = 0.5, 见 表 1-4. 


表 1-4 


Zi 


Zi 


i 
0 0.500 000 00 
1 0.793 700 53 
2 0.590 880 11 
3 0.742 363 93 
4 0.636 310 20 
5 0.713 800 81 
6 0.659 006 15 
7 0.698 632 61 
8 0.670 448 50 
9 0.690 729 12 
10 0.676 258 92 
11 0.686 645 54 
0.679 222 34 


0.684 544 01 
0.680 737 37 
0.683 464 60 
0.681 512 92 
0.682 910 73 
0.681 910 19 
0.682 626 67 
0.682 113 76 
0.682 481 02 
0.682 218 09 
0.682 406 35 
0.682 271 57 
0.682 368 07 
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这 一 次 FPI 成 功 了 . 这 种 迭代 显然 收敛 于 接近 0.682 3 的 一 个 数 . 
最 后 我 们 用 重新 整理 的 = = g(x) = (1+ 2z3)/(1 + 3z2). 像 前 一 种 情形 一 样 , 它 
是 收敛 的 , 而 且 收敛 得 更 显著 , 见 表 1-5. 


表 1-5 


Zi 
0.682 327 80 
0.682 327 80 
0.682 327 80 
0.682 327 80 


Ti 
0.500 000 00 
0.714 285 71 
0.683 179 72 
0.682 328 42 


经 过 4 步 不 动 点 迭代 后 , 我 们 已 经 有 4 位 精确 的 数字 , 而 且 后 面 很 快 会 有 更 多 
精确 的 数字 . 与 前 面 的 尝试 相 比 , 这 是 一 个 惊人 的 结果 . 我 们 的 下 一 个 目标 是 试图 
解释 这 3 种 结果 的 差别 . 


1.2.2 ”不 动 点 迭代 的 几何 原理 


在 1.2.1 节 , 我 们 发 现 把 方程 z3 + z 一 1 = 0 改写 成 不 动 点 问题 的 3 种 不 同方 
法 的 结果 显然 不 同 . 要 和 弄 清楚 为 什么 FPI 方法 在 有 些 场合 收敛 而 在 另 一 些 场合 不 
收敛 , 考虑 该 方法 的 几何 形状 将 会 有 帮助 . 

图 1-3 显示 了 以 前 讨论 过 的 3 种 不 同 的 g(x), 以 及 每 种 情况 下 最 初 的 几 步 FPI. 
对 每 一 个 g(z), 不 动 点 r 是 相同 的 . 用 曲线 y = g(z) My = z 的 交点 表示 它 . FPI 
的 每 一 步 可 以 通过 画 出 两 条 线段 作为 示意 图 : (1) 垂直 方向 交 于 曲线 , (2) 水 平方 向 
交 于 对 角 线 y = zx. 图 1-3 中 垂直 和 水 平 箭头 对 应 着 FPI 的 每 一 步 . 垂直 箭头 从 z 值 
指向 函数 g, 表示 zi 一 g(z1). 水 平 箭头 表示 把 对 应 于 y 轴 上 的 输出 g(zi) 转换 成 在 
Zz 轴 上 的 相同 的 数 cii, 准备 在 下 一 步 输入 g. 这 是 通过 从 输出 高 度 g(z;) 向 对 角 
By = z 画 水 平 线段 而 得 . 此 不 动 点 迭代 的 几何 图 形 称 为 蛛网 图 (cobweb diagram). 

y y 


Yy 


oa ob rm- oje 
Noaale 


(a) 


E13 FPI 的 几何 思想 . 不 动 点 是 g(z) 的 和 对 角 线 的 交点 ，g(z) 的 
3 种 形式 及 FPI 的 前 几 步 如 图 所 示 : (a) g(x) = 1 一 zai (b) 
9(2) = (1—2)#; (c) g(z) = (1+ 22%)/(1 + 327) 
在 图 1-3a F, BAM zo = 0.5 HR, 向 上 移动 到 函数 , 然后 水 平地 移 到 对 角 
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线 上 的 点 (0.875, 0.875), 这 就 是 (21,21). 下 一 步 应 把 ri 代入 g(z). 和 对 zo 所 做 
的 一 样 , 垂直 地 移动 到 函数 . 这样 便 得 到 z2 ~ 0.330 0, 而 且 通 过 水 平移 动 把 y 值 
移动 到 z 值 后 , 我 们 继续 使 用 相同 的 方法 得 到 ra, ra,… 像 我 们 以 前 看 到 的 那样 ， 
对 这 个 g(z), FPI 并 不 成 功 . 迭代 最 终 交替 地 趋 于 0 和 1, 它们 都 不 是 不 动 点 . 

不 动 点 迭代 在 图 1-3b 中 比较 成 功 . 尽管 这 里 的 g(z) 粗 看 与 (a) 部 分 的 g(z) 
相似 , 却 有 着 重要 的 差别 . 这 一 点 我 们 将 在 1.2.3 节 中 阐明 . 你 可 能 想 推 测 差 别 在 哪 
里 . 是 什么 使 得 FPI 盘旋 地 指向 (b) 中 的 不 动 点 , 却 盘旋 地 离开 在 (a) 中 的 不 动 点 ? 
图 1-3c 表示 一 个 快速 收敛 的 例子 . 这 张 图 有 助 于 你 的 推测 吗 ? 如 果 你 猜测 靠近 不 
动 点 处 g(z) 的 斜率 起 了 某 种 作用 , 那么 你 是 正确 的 . 


1.2.3 不 动 点 迭代 的 线性 收敛 性 


通过 仔细 考察 在 最 简单 情形 下 的 算法 就 很 容易 解释 FPI 的 收敛 性 质 ， 图 1-4 
表示 两 个 线性 函数 gi(z) = -r + $ 和 gz(z) = -3r + 3 的 不 动 点 迭代 . 在 每 一 种 
情形 中 , 不 动 点 z = 1, 但 是 |g1(1)| = | 一 让 > 1, 而 |g(1)| = | 一直 < 1, 按照 描述 
FPI 的 垂直 和 水 平 箭头 , 我 们 明白 了 差别 的 原因 . 因为 g 在 不 动 点 的 斜率 大 于 1, 
所 以 代表 从 zn 变化 到 on 的 那些 垂直 线段 , 当 FPI 进行 时 , 长 度 会 增加 ， 结果 ， 
即使 初始 估计 zo 十 分 靠近 不 动 点 , 迭代 也 会 “盘旋 离开 ”不 动 点 z = 1. go 的 情形 
相反 : go 的 斜率 小 于 1, 垂直 线段 在 长 度 上 减 小 , 因此 FPI“ 盘 旋 朝向 ” 不 动 点 . 因 
此 , 正 是 |g'(7)| 决定 了 发 散 还 是 收敛 . 

这 是 几何 思想 . 就 方程 而 言 , 用 s-r RKE gl) 和 gle) 会 对 我 们 有 所 帮助 ， 
这 里 + = 1 是 不 动 点 : 


ns) = ~3(¢-1) +1, 
nD -1= -3 -1), 


zit 1=—3(e —1). (1.8) 


(a) (b) 
图 1-4 ”线性 函数 的 蛛网 图 . (a) 如 果 线 性 函数 的 斜率 绝对 值 大 于 1, 则 
当 FPI 进行 时 ,附近 的 估计 点 会 远离 不 动 点 ， 导 致 该 方法 失败 . 
(b) 斜率 的 绝对 值 小 于 1 时 , 情形 正好 相反 , 因此 求 得 不 动 点 


1.2 FARK 33 


如 果 把 e; = |r 一 zi| 看 作 在 第 i 步 的 误差 ( 即 在 第 i 步 时 最 佳 估计 点 到 不 动 点 
的 距离 ), 我 们 从 (1.8) BB, ei = 3ei/2, 它 表 示 误 差 在 每 一 步 以 近似 于 3/2 的 因 
子 而 增 大 , 因此 这 是 发 散 的 . 

对 gz 重复 前 面 的 代数 运算 , 我 们 有 


oo = -$e D+ 


gl) -1=-F(-1), 
Zit1 一 1= -te -1). 
结果 是 ei = ei/2, 意味 着 误差 ( 即 到 不 动 点 的 距离 ) 在 每 一 步 乘 以 了 当 步 数 增 
加 时 , 误差 减少 到 零 . 这 是 一 种 特殊 类 型 的 收敛 性 . 
定义 1.5 Rei 表示 稀 代 法 在 第 i 步 的 误差 , 如果 
lim #4 = 9 <1, 
i= e; 
则 称 这 种 方法 满足 速度 是 5 的 线性 收敛 (linear convergence). 

不 动 点 迭代 对 gz 来 说 是 以 速度 S= 5 线性 收敛 于 根 > = 1. 因为 g 和 ga 是 
线性 的 , 所 以 前 面 的 讨论 被 简化 了 , 但 是 如 下 面 定理 所 示 , 同样 的 推理 适用 于 具有 
不 动 点 g(r) = r 的 一 般 的 连续 可 微 函数 g(z). 

定理 1.6 ”假设 9 是 连续 可 微 函 数 , 满足 g(r) =r A S= |g'(r)| <1, 那么 对 
充分 接近 r 的 初始 估计 , 不 动 点 选 代 以 速度 5 线性 地 收敛 于 不 动 点 7. 

证 Ray ATH GRR. 根据 中 值 定理 , 在 zi 和 7 之 间 存 在 常数 ci, 使 得 


titi =r = g'(c)(z; - r), (1.9) 
这 里 我 们 已 代入 zitl = g(zi) A r = g(r). RA e; = |z; — r|, (1.9) 就 能 写成 
eit1 = |g'(ci)lei. (1.10) 


to KR S=|9!(r)| 小 于 1, 那么 根据 g' 的 连续 性 , 存在 7 的 一 个 小 邻 域 , 在 其 中 
有 |g'(z)| < (S 十 1)/2. 它 略 大 于 5S 但 仍 小 于 1. 如 果 zi 碰巧 在 这 个 邻 域 内 , 那么 
ci 也 在 此 邻 域内 ( 它 被 天 在 zi 和 7 之 间 ), 所 以 


eitl < Etle 
于 是 误差 将 在 这 一 步 和 以 后 的 每 一 步 都 以 因子 (S + 1)/2 或 者 更 佳 的 因子 减 
小 . 这 就 意味 着 dma=r, 因此 对 (1.10) 取 极限 得 到 


lim # = lim lg (ce)| = lg'(r)] = 8. 


isco e i 
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根据 定理 1.6, 近似 误差 关系 


eiri © Sei (1.11) 


在 逼近 收敛 的 极限 中 成 立 , 这 里 S= |g! (r). 对 这 个 定理 的 变形 见习 题 15. 

定义 1.7 ”如果 对 充分 接近 7 的 初始 估计 来 说 送 代 方 法 收 伍 , 那么 该 方法 称 
为 局 部 收敛 到 r. 

换言之 , 如 果 存 在 邻 域 (r —e,r +e), 这 里 = > 0, 使 得 从 该 邻 域内 的 任意 初始 
估计 出 发 , 该 方法 都 收敛 到 r, 则 这 种 方法 局 部 收敛 到 r. 定理 1.6 的 结论 是 : 如 果 
lg'(r)| <1, 那么 不 动 点 迭代 局 部 收敛 . 

定理 1.6 解释 了 在 前 面 的 f(z) = z3 +z 一 1 = 0 的 不 动 点 迭代 中 所 发 生 的 事 
情 . 我 们 知道 , H r ~ 0.682 3. 对 于 g(x) = 1 -- z3, 导数 是 g'(z) = -3z2. TER r 附 
近 , FPI 相当 于 ei+1 © Sei, 这 里 的 S = |g'(r)| = | — 3(0.682 3)?| ~ 1.396 6 > 1, 所 
以 误差 增 大 , 因此 不 可 能 收敛 . 这 种 在 ei 和 ei 之 间 的 误差 关系 仅 在 r 附近 成 立 ， 
但 它 确 实 表 示 对 r 可 能 出 现 不 收敛 性 . 

对 于 第 二 种 选择 , g(z) = YT, 导数 g(z) = (1-2) ¥(-1), UR K = 
|(1 — 0.682 3)-#/3| ~ 0.716 < 1. 定理 16 意味 着 收敛 , 与 我 们 前 面 的 计算 一 致 . 

对 于 第 三 种 选择 , g(z) = (1+ 2z3)/(1 + 327), 导数 


6z?(1 +37?) — (1 十 2z3)6z 6z(z3+z—1) 
g (x) = = 
(1 +322)? (1+ 322)? ’ 


因此 5 = |g'(r)| = 0, 这 是 能 取 到 的 最 小 的 S, 这 就 导致 了 图 1-3c 中 显示 的 非常 快 
的 收敛. 

例 1.3 ”解释 不 动 点 迭代 g(z) = cosz 为 什么 收敛 . 

这 是 本 章 前 面 许诺 过 的 解释 . 反复 应 用 余弦 函数 , 对 应 于 g(x) = cose 的 FPI. 
根据 定理 1.6, 解 为 r ~ 0.74, 因为 g'(r) = 一 sinr ~ —sin0.74 ~ —0.67 的 绝对 值 小 
于 1, 所 以 解 + = 0.74 附近 的 估计 点 收敛 于 它 . 4 

例 1.4 ”用 不 动 点 迭代 求 cosz = sinz 的 根 . 

把 方程 转化 成 不 动 点 问题 的 最 简 方 法 是 在 方程 的 两 边 加 上 r. 可 以 把 问题 重 
写 为 


z+cosz—sinz =z, 


并 定义 


g(z) = z + cos z — sin T. (1.12) 


对 于 这 个 g(z), 不 动 点 迭代 的 结果 如 表 1-6 所 示 . 
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表 1-6 

i Zi g(z:) e =]zi-r] Ci/ei-1 
0 0.000 000 0 1.000 000 0 0.785 398 2 

1 1.000 000 0 0.698 831 3 0.214 601 8 0.273 
2 0.698 831 3 0.821 102 5 0.086 566 9 0.403 
3 0.821 102 5 0.770 619 7 0.035 704 3 0.412 
4 0.770 619 7 0.791 518 9 0.014 778 5 0.414 
5 0.791 518 9 0.782 862 9 0.006 120 7 0.414 
6 0.782 862 9 0.786 448 3 0.002 535 3 0.414 
7 0.786 448 3 0.784 963 2 0.001 050 1 0.414 
8 0.784 963 2 0.785 578 3 0.000 435 0 0.414 
9 0.785 578 3 0.785 323 5 0.000 180 1 0.414 
10 0.785 323 5 0.785 429 1 0.000 074 7 0.415 
11 0.785 429 1 0.785 385 4 0.000 030 9 0.414 
12 0.785 385 4 0.785 403 5 0.000 012 8 0.414 
13 0.785 403 5 0.785 396 0 0.000 005 3 0.414 
14 0.785 396 0 0.785 399 1 0.000 002 2 0.415 
15 0.785 399 1 0.785 397 8 0.000 000 9 0.409 
16 0.785 397 8 0.785 398 3 0.000 000 4 0.444 
17 0.785 398 3 0.785 398 1 0.000 000 1 0.250 
18 0.785 398 1 0.785 398 2 0.000 000 1 1.000 
19 0.785 398 2 0.785 398 2 0.000 000 0 

在 这 张 表 中 有 几 处 地 方 值得 关注 ， 首 先 这 个 迭代 看 起 来 收敛 于 0.785 398 2. 
因为 
x _ v2 e x 
osz = g = sing, 


所 以 方程 cosz — sins = 0 的 真 解 是 > = 4 ~ 0.785 398 2. 第 4 列 是 “误差 列 ” 它 
表示 在 第 i 步 , 最 佳 估计 z; 和 实际 不 动 点 r 之 差 的 绝对 值 . 在 靠近 表 的 底部 这 个 
差 变 小 , 说 明 估计 点 向 不 动 点 收敛 . 
注意 误差 列 中 的 模式 . 误差 似乎 以 常数 因子 递减 , 每 个 误差 比 前 一 误差 的 一 半 
还 稍微 小 一 点 . 更 精确 地 说 , 相继 两 个 误差 的 比 由 最 后 一 列 所 示 . 我 们 在 表 的 绝 大 
部 分 看 到 , 相继 两 个 误差 的 比 ei+1/e; 趋 于 常数 , 大 约 是 0.414. 换言之 , 我 们 看 到 线 
性 收敛 关系 
ei © 0.414e;-1. (1.13) 


因为 定理 1.6 ae 


v2_ v2 


da oe = |1 — V2| ~ 0.414, 


S = |g'(r)| = |1 — sinr — cosr| = 


所 以 这 恰好 符合 我 们 的 预期 . < 
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细心 的 读者 会 注意 到 表 末 尾 的 一 个 矛盾 . 在 计算 误差 e; 中 , 我 们 对 准确 的 不 
动 点 7 仅 用 了 7 位 有 效 数 字 . 结果 , 当 ei 接近 1078 时 ei 的 相对 精度 比较 差 , 比值 
ei/ei_l 变 得 不 精确 . 如 果 我 们 对 > 用 一 个 精确 得 多 的 值 , 这 一 问题 将 不 再 出 现 . 

例 1.5 求 g(z) = 2.8z 一 z? HABA. 

函数 g(z) = 2.8z — z? 有 两 个 不 动 点 0 和 1.8, 这 可 以 通过 手工 解 g(z) = z 来 
确定 , 或 者 在 图 1-5 中 通过 y = g(z) My = z 的 曲线 相交 来 确定 . 图 1-5 表示 取 初 
始 估 计 z = 0.1 的 FPI 蛛网 图 . 对 于 这 个 例子 , 迭代 


zo = 0.100 0， zi=0.2700, xz2=0.6831, 23=1.4461, z4 一 1.957 9, 


如 此 下 去 , 可 以 看 出 交点 是 沿 着 对 角 线 的 . 
y 


图 1-5 ”不 动 点 迭代 的 蛛网 图 例 1.5 有 两 个 不 动 点 : 0 和 1.8. 图 中 所 
示 的 是 初始 估计 为 0.1 的 迭代 , 用 FPI 方法 仅 收敛 到 1.8 

尽管 初始 点 zo = 0.1 靠近 不 动 点 0, 但 是 FPI 朝 另 一 个 不 动 点 z = 1.8 移动 , 并 
ARBAB. 两 个 不 动 点 之 间 的 区 别 是 9 在 z = 1.8 处 的 斜率 , 由 g'(1.8) = -0.8 
给 出 , 其 绝对 值 小 于 1. 另 一 方面 , 9 在 另 一 个 不 动 点 z = 0( 排 斥 点 ) 处 的 斜率 是 
g' (0) = 2.8, 其 绝对 值 大 于 1. 

定理 1.6 在 后 验 估计 (posteriori) 中 相当 有 用 一 一 在 FPI 计算 的 结尾 , 我 们 求 得 
根 并 且 能 够 一 步 一 步 地 计算 误差 . 这 个 定理 从 侧面 说 明 为 什么 收敛 速度 S 有 上 述 
表现 . 在 计算 开始 之 前 就 获知 这 一 信息 可 能 更 为 有 用 . 下 一 个 例子 表明 , 在 某 些 情 
形 下 , 我 们 确实 能 够 这 样 做 . < 

例 1.6 用 FPI 计 算 v2. 

古代 求 平方 根 的 方法 可 以 表示 为 一 种 FPL 假设 我 们 想 求 V2 的 前 10 位 数字 . 
从 初始 估计 zo = 1 开始 . 这 个 估计 值 明 显 太 小 , 而 = 2 MAK. 事实 上 , 任 一 初 
始 估计 0 < zo < 2 与 2 一 起 会 将 V2 括 在 其 中 . 因此 , 把 这 两 个 数 平均 后 得 到 更 
好 的 估计 : 
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现在 再 重复 一 次 . 尽管 接近 了 一 些 , 但 它 比 V3 大 , 而 $= 4 Akh. 如 前 ， 
平均 后 得 到 fe 
T2 = 2ta = Z = 1.416, 
它 更 接近 V5 再 一 次 , za 和 2 把 V3 括 在 其 中 . 
下 一 步 得 到 


=~ 1.414 215 686. 


17 
-Btn _ 577 
T3 = = 10 


2 408 
用 计算 器 检查 可 以 看 到 , 这 个 估计 与 V2 仅 相差 3 x 1078. 我 们 正在 实施 的 FPI 是 


Eames 
Tin = — a (1.14) 


注意 到 V2 正 是 这 个 迭代 的 不 动 点 . 
在 结束 计算 之 前 , 我 们 来 判断 它 是 否 收敛 . 根据 定理 6.1, 我 们 需要 S < 1. 对 
这 个 和 迭代, g(z) = (e+ 2), g'(z) = 3(1 一 $), 在 不 动 点 处 计算 得 到 


g(V2) = 3 Q = wai) =0, (1.15) 


所 以 S = 0, 我 们 断定 : 这 个 迭代 将 收敛 并 且 收敛 得 非常 快 . 
习题 1.2 节 中 第 8 题 的 问题 是 : 求 任 一 正 数 的 平方 根 时 ， 这 种 方法 是 否 一 定 
成 功 ? < 


亮点 ”收敛 性 

例 1.6 的 巧妙 方法 仅 在 3 步 后 就 收敛 到 V2 的 5 位 小 数 . 这 种 简单 方 
法 是 数学 史 中 最 古老 的 一 种 . 图 1-6a 所 示 的 棉 形 片 YBC7289 是 1962 年 
在 巴格达 附近 发 现 的 , 大 约 起 源 于 公元 前 1750 年 . 它 包括 了 表示 面积 为 
2 的 正方 形 边 长 的 基 为 60 的 近似 数 (1)(24)(51)(10). 以 10 ABE, ERE 


我 们 不 知道 巴比伦 人 的 算法 , 但 是 有 人 推测 , 他 们 正 是 采用 了 例 1.6 
的 算法 , 但 是 以 习惯 的 60 为 基 . 无 论 如 何 , 这 种 方法 出 现在 由 亚历山大 人 
Heron( 海 伦 ) 写 于 公元 1 世纪 的 Metrica( 第 1 At) 中 , 用 来 计算 V720. 


1.2.4 ”停止 准则 


与 对 分 法 的 情形 不 同 , 对 于 FPI 收敛 到 给 定 的 偏差 之 内 所 需要 的 步 数 很 少 可 
以 事先 预测 . 在 没有 类 似 (1.1) 那 种 对 分 法 的 误差 公式 时 , 我 们 必须 作出 终止 算法 
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的 决定 , 称 它 为 停止 准则 (stopping criterion). 


(a) (b) 
图 1-6 V2 的 古代 计算 : (a) BBA YBC7289, (b) 栅 形 片 的 示意 图 . 巴 
比 伦 人 以 基 60 计算 , 但 使 用 基 10 的 记 法 . “<” RR 10, “y” 
表示 1. 在 左上 方 是 30, 即 边 的 长 度 , 沿 着 中 间 是 1, 24, 51 和 
10, 它们 表示 精确 到 5 位 小 数 的 2 的 平方 根 , 在 下 方 的 数 42, 
25, 35 表示 基 为 60 时 的 30/2 


对 一 组 容 限 TOL, 可 以 要 求 绝对 误差 停止 准则 


lzi} — zi] < TOL, (1.16) 
或 者 在 解 不 是 太 接近 于 零 的 情形 , 可 以 要 求 相对 误差 停止 准则 

lzi — zil 

THEE < TOL. (1.17) 
混合 的 绝对 /相对 停止 准则 

lin 一 mi poy, (1.18) 


max(|zi+1|, 8) 


在 解 接近 于 零 的 情况 下 , 对 于 某 个 > 0 将 非常 有 用 . 另外 , 好 的 FPI 代码 为 了 防 
止 收敛 失败 , 对 最 大 和 迭代 步 数 作 了 限制 . 停止 准则 的 讨论 相当 重要 , 当 我 们 在 1.3 节 
学 习 前 向 和 后 向 误差 时 将 再 次 讨论 它 , 并 采用 更 复杂 的 方式 . 

对 分 法 保证 线性 收敛 . 不 动 点 迭代 仅 是 局 部 收敛 , 而 当 它 收敛 时 它 是 线性 收敛 . 
这 两 种 方法 要 求 每 一 步 计算 一 次 函数 值 . 对 分 法 每 进行 一 步 , 不 确定 度 就 减少 4. 与 
之 相 比 , FPI 每 进行 一 步 , 不 确定 度 近似 减少 S = |g'(7)|. 因此 , 不 动 点 迭代 可 能 比 
对 分 法 快 也 可 能 比 它 慢 , 这 依赖 于 5 是 小 于 还 是 大 于 3. 1.4 节 将 介绍 FPI 的 一 种 
特别 精细 的 形式 , BI Newton 方法 , 这 时 5 HE. 
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习题 1.2 


1. 


2. 


16. 


17. 


用 定理 1.6 WE g(z) 的 不 动 点 迭代 是 否 局 部 收敛 于 给 定 的 不 动 点 r. 

(a) 9(x)=(2e-1)8,r=1; (b) g(z)=(z3+1)/2,r=1; (c) g(z)=sinz + zir=0. 

用 定理 1.6 确定 g(z) 的 不 动 点 迭代 是 否 局 部 收敛 于 给 定 的 不 动 点 r- 

(a) g(z) = (2z — 1)/z?,r = 1; (b) g(x) = cost +atlr =m; (c) g(x) = 
e —1,r=0. 


+ 求 每 一 个 不 动 点 并 确定 不 动 点 选 代 是 否 局 部 收敛 于 它 . 


(a) g(z) = 327+ 92; (b) o(2)=2? - fat Z. 


. 求 每 一 个 不 动 点 并 确定 不 动 点 迭代 是 否 局 部 收敛 于 它 . 


(a) g(@)=2?—$2+ 5; (b) g(z) = 2? + 52-35. 


, 用 3 种 不 同 的 方式 把 每 个 方程 表示 为 不 动 点 问题 z = g(x). 


(a) za 一 z+er =0i (b) 327? +9z3 = z2. 


、 考 虑 不 动 点 迭代 2 一 g(x) = z? 一 0.24. 


(a) 你 认为 由 不 动 点 迭代 计算 根 -0.2， 辟 如 说 大 约 到 10 位 精确 小 数 ， 比 对 分 法 快 还 
是 慢 ? 
(b) 求 出 其 他 不 动 点 , FPI 将 收敛 到 它 吗 ? 


.验证 二 和 -1 是 f(z) = 20? + 2-1 =0 的 根 . 把 z? 项 分 离 出 来 并 求解 z, KRH g(z) 


的 两 个 不 动 点 . 哪 一 个 根 将 通过 不 动 点 迭代 求 得 ? 


.证明 例 1.6 的 方法 可 用 于 计算 任 一 正 数 的 平方 根 . 
.对 立方 根 考察 例 1.6 的 想法 . WR z 是 小 于 A3 的 估计 , 那么 AAT Ad, 所 以 这 两 


个 数 的 平均 将 是 比 z 更 好 的 近似 . 请 提出 基于 这 一 事实 的 一 种 不 动 点 选 代 , 并 用 定理 1.6 
确定 它 是 否 收敛 于 A 的 立方 根 . 


,用 加 权 平 均 改进 习题 9 的 立方 根 算法 . 对 某 个 固定 的 数 0 < w < 1, $ g(x) = wr+(1- 


w) Ay, w 的 最 佳 选择 是 什么 ? 


. 考虑 关于 g(x) = 1 一 5z + $r? — S09 的 不 动 点 迭代 . (a) EH 1- 3,1, 14/3 是 不 


动 点 . (b) 证 明 这 3 个 不 动 点 都 不 局 部 收敛 (计算 机 问题 7 进一步 研究 了 这 个 例子 ). 


.证 明 初 始 估计 0,1, 2 导出 习题 11 中 的 不 动 点 .对 于 接近 这 些 数 的 其 他 初始 估计 会 发 生 


什么 现象 ? 


.假设 g(z) 连续 可 微 并 且 不 动 点 迭代 g(x) HA 3 个 不 动 点 , r <r2<73. 另 假 定 |g'(71)| = 


0.5 及 |g'(rs)| = 0.5. 在 这 些 条 件 下 , 列 出 |g'(r2)| 所 有 可 能 的 值 . 


。 假设 g(z) 是 连续 可 微 函数 ,并且 不 动 点 迭代 g(z) HH 3 个 不 动 点 : —3,1, 2， 另 假定 


g'(-3) = 2.4 以 及 从 充分 靠近 不 动 点 2 处 开始 的 FPI 收敛 于 2. R g'(1). 


.证明 定理 1.6 的 变形 : 如 果 9 在 包含 不 动 点 r 的 区 间 [a,b] 上 连续 可 微 并 且 |g'(z)| < 


B <1, 那么 对 于 [a,b] 中 的 任 一 初始 估计 , FPI SKF r. 

证 明 在 闭 区 间 上 满足 lg'(z)| < 1 的 连续 可 微 函数 g(z) 在 这 个 区 间 上 不 可 能 有 两 个 不 
考虑 g(x) = z — za ARH AGB. (a) EH z = 0 是 仅 有 的 不 动 点 ，(b) 证 明 如 果 
0 < zo <1, 那么 zo > zl > za > … > 0. (c) 证 明 当 9'(0) = 1 时 FPI KAF r= 0. 
[提示 : 运用 每 一 个 单调 有 界 数列 收敛 (于 某 个 极限 ) 这 一 事实 .] 
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18. 


19. 


20. 


21. 


22. 


考虑 g(z) = z + za 的 不 动 点 迭代 . (a) EH z = 0 是 仅 有 的 不 动 点 ，(b) 证 明 如 果 
0 < zo < 1, 那么 ro < 21 < za < … . (c) 证 明 当 g'(0) = 1 时 , FPI 未 能 收敛 于 不 动 点 . 
与 习题 17 一 起 说 明 当 |g'(7)| = 1 时 , FPI 可 能 收敛 到 不 动 点 > 也 可 能 发 散 于 r. 

考虑 方程 za +z 一 2 = 0 有 根 = 1. 两 边 加 上 cz 这 一 项 并 除 以 c 得 到 g(z). 

(a) 对 什么 样 的 c, FPI 局 部 收敛 于 7 = 1? (b) 对 什么 样 的 c, FPI 将 收敛 得 最 快 ? 
假定 把 不 动 点 迭代 用 于 二 次 连续 可 徽 函数 g(x), 并 且 对 不 动 点 rg'(r) = 0 成 立 . 证 明 如 
R FPI 收敛 于 7, 那么 误差 满足 lim (ei+1)/e? = M, 这 里 M = |g"(r)|/2. 

通过 对 方程 x+ z = 5/16 分 离 z 项 来 定义 不 动 点 选 代 . 求 出 两 个 不 动 点 , 并 且 确 定 哪个 
初始 估计 在 (不 动 点 ) 选 代 下 收敛 于 不 动 点 (提示 : 画 出 g(x) 和 蛛网 图 ). 

求 出 所 有 使 不 动 点 迭代 z $- z? 收敛 到 不 动 点 的 初始 估计 的 集合 . 


计算 机 问题 1.2 


1. 


2. 


3. 


用 不 动 点 迭代 , 求 以 下 方程 的 解 , 精确 到 8 位 小 数 : 

(a) z? =2r+2; (b)e*+2=7; (c) e*+sinz=4. 

用 不 动 点 迭代 , 求 以 下 方程 的 解 , 精确 到 8 位 小 数 : 

(a) zs+z=1; (b)sinz=6z+5i (c) ne+2?=3. 

用 例 1.6 中 的 不 动 点 迭代, 求 以 下 各 数 的 平方 根 , 精确 到 8 位 小 数 : (a)3, (b)5. 说 出 你 的 
初始 估计 和 所 需要 的 步 数 . 


,用 g(z) = (2z + A/z?)/3 的 不 动 点 迭代 计算 以 下 各 数 的 立方 根 ， 精 确 到 8 位 小 数 , 这 里 


的 4 是 (a)2, (b)3, (c)5. 说 出 你 的 初始 估计 和 所 需要 的 步 数 . 


«Bl 1.3 表明 g(x) = cosz 是 一 个 收敛 的 FPI. 对 g(x) = cos? r 是 否 同样 正确 ? 求 其 不 动 


点 , 精确 到 6 位 小 数 , 并 报告 所 需要 的 FPI 步 数 . 用 定理 1.6 讨论 局 部 收敛 性 . 


. 为 了 求 以 下 方程 的 精确 到 6 位 小 数 的 根 , 请 导出 3 种 不 同 的 g(z). 对 每 一 种 g(x) 运行 


FPI, 并 报告 结果 , 收敛 还 是 发 散 . 每 个 方程 f(z) = 0 有 3 个 根 . 如 果 需 要 的 话 , 导出 更 
多 的 g(z), 直到 用 FPI 求 出 所 有 的 根 . 对 每 一 次 收敛 的 迭代 ， 从 误差 和 + 确定 5 的 值 ， 
并 与 在 (1.11) 中 计算 所 确定 的 5 进行 比较 . 

(a) f(e) =22*—62-1; (b) f(x) =e*-?+2%-2; (c) f(z)=1+52— 6r? — e, 


.习题 11 考虑 了 用 于 g(z) = 1-52 + Bx? — $r? = zx 的 不 动 点 迭代 . 求 以 下 FPI 的 初 


始 估 计 : (a) 在 区 间 (0,1) 中 无 限 循环 ; (b) 与 (a) 相同 , 但 区 间 是 (1,2); (c) RBI. 
情形 (a) 和 (b) 是 混沌 动力 学 的 例子 . 在 所 有 3 种 情形 中 , FPI 是 不 成 功 的 . 


1.3 ”精度 的 界限 
数值 分 析 的 目标 之 一 是 按 指定 精度 水 平 计算 出 答案 . 在 双 精 度 下 工作 意味 着 我 


们 进行 存储 和 运算 的 数 保持 52 位 精度 , 大 约 16 位 十 进 制 数 . 


能 永远 把 答案 计算 到 16 位 正确 的 有 效 数字 吗 ? 第 0 章 曾经 指出 , 一 个 计算 二 


次 方程 根 的 内 生 算法 很 可 能 损失 一 些 或 者 全 部 有 效 数字 ， 改 进 的 算法 消除 了 这 个 
问题 . 在 本 节 中 , 我 们 将 看 到 一 些 新 的 东西 一 一 双 精 度 计算 机 的 计算 ， 即 使 用 最 好 
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的 算法 也 根本 不 可 能 接近 16 位 精确 数字 . 
1.3.1 ”前 向 误差 和 后 向 误差 
第 一 个 例子 说 明 : 在 某 些 情形 下 , 笔 和 纸 仍 可 以 胜 过 计算 机 . 
例 1.7 用 对 分 法 求 f(z) =r 一 2z? + fr- 3 的 根 , 精确 到 6 位 有 效 数字 . 
注意 到 f(0)f(1) = (C4) < 0, 所 以 介 值 定理 保证 在 [0,1] 中 有 一 个 解 . 根 
据 例 1.2, 对 分 20 步 应 足以 保证 6 位 精度 . 
事实 上 , 不 用 计算 机 也 容易 检验 r= 2 = 0.666 666 666 .… 是 一 个 根 : 


8 4 4\ /2\ 8 

f2/3)= 5-2 (3) + (3) (3) -$ =o. 
对 分 法 能 得 到 多 少 位 数字 ? 出 人 意料 地 , 在 计算 f (0.666 664 1) = 0 时 , 对 分 法 在 16 
步 后 就 停止 了 , 见 表 1-7. 如 果 我 们 关心 6 位 或 更 多 位 的 精度 , 这 就 是 一 次 严重 的 失 
We. 图 1-7 说 明了 这 个 困难 . 只 要 涉及 IEEE 双 精 度 , 就 有 准确 根 + = 3 的 许多 10-5 
之 内 的 浮 点 数 被 函数 f(z) 计算 成 机 器 零 , 因此 它们 都 有 权 称 为 根 ! 尽管 函数 f 单 
调 递增 , 但 图 1-7b 显示 甚至 f 的 双 精 度 值 的 符号 也 经 常 是 错 的 , 这 就 把 问题 弄 得 
EM. 


R 1-7 
i ai flai) ci F(ci) bi f(bi) 
0 0.000 000 0 一 0.500 000 0 一 1.000 000 0 + 
1 0.500 000 0 - 0.750 000 0 + 1.000 000 0 + 
2 0.500 000 0 - 0.625 000 0 - 0.750 000 0 + 
3 0.625 000 0 - 0.687 500 0 + 0.750 000 0 + 
4 0.625 000 0 - 0.656 250 0 + 0.687 500 0 + 
5 0.656 250 0 - 0.671 875 0 Ea 0.687 500 0 + 
6 0.656 250 0 一 0.664 062 5 一 0.671 875 0 十 
T 0.664 062 5 - 0.667 968 8 + 0.671 875 0 + 
8 0.664 062 5 - 0.666 015 6 - 0.667 968 8 + 
9 0.666 015 6 一 0.666 992 2 + 0.667 968 8 + 
10 0.666 015 6 一 0.666 503 9 - 0.666 992 2 + 
u 0.666 503 9 一 0.666 748 0 十 0.666 992 2 十 
12 0.666 503 9 一 0.666 626 0 一 0.666 748 0 十 
13 0.666 626 0 一 0.666 687 0 十 0.666 748 0 十 
14 0.666 626 0 一 0.666 656 5 一 0.666 687 0 十 
15 0.666 656 5 一 0.666 671 8 十 0.666 687 0 十 
16 0.666 656 5 一 0.666 664 1 0 0.666 671 8 十 


图 1-7 表明 问题 不 在 于 对 分 法 , 而 在 于 在 根 附近 双 精 度 算法 不 能 足够 精确 地 计 
算 函 数 f. 任何 依靠 这 种 计算 机 算法 的 其 他 解法 都 注定 要 失败 .对 于 这 个 例子 ,其 
至 16 位 精度 都 不 能 检验 候选 解 是 否 精确 到 6 位 . < 
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为 了 说 明 这 并 不 是 对 分 法 造成 的 , 我 们 用 MATLAB 的 最 强大 的 多 功能 求 根 法 ， 
fzero.n. 本章 后 面 将 讨论 其 细节 . 至 于 现在 , 我 们 只 需 给 它 提供 这 个 函数 和 初始 
估计 . 不 会 有 比 这 更 幸运 的 事 了 . 

>> fzero('x.*3-2*x.*2+4*x/3-8/27',1) 


0.66666250845989 


(a) (b) 
图 1-7 重 根 附近 函数 的 形状 : (a) f(z) = 2° — 207 + $a — Fy 的 图 ; (b) 
ER r= 3 附近 , (a) 的 放大 . 有 许多 浮 点 数 , 它们 离 3 107 
之 内 , 它们 都 是 计算 机 意义 上 的 根 . 我 们 由 微 积 分 可 知 只 有 3 
是 根 


对 于 这 个 例子 , 所 有 方法 都 不 能 得 到 多 于 5 位 精确 数字 , 其 原因 根据 图 1-7 来 
看 是 清楚 的 . 在 双 精 度 计算 中 , 任何 方法 仅 有 的 信息 是 函数 值 . 如 果 计 算 机 运算 表 
明 函 数 在 不 是 根 的 地 方 等 于 零 , 这 种 方法 就 无 法 再 次 运用 . 另 一 种 说 明 困 难 的 方法 
是 指出 , ERYK y Bh, 那么 近似 解 就 能 够 尽 可 能 地 靠近 解 , 但 在 z 轴 方 向 并 不 特 
别 靠近 . 

这 些 观察 结果 引出 了 几 个 关键 的 定义 . 

定义 1.8 ik f 是 一 个 函数 , r 是 一 个 根 , 即 它 满足 f(r) = 0. 假设 ze Ar 
的 近似 值 . 对 于 求 根 问 题 , 近似 值 ze 的 后 向 误差 (backward error) 是 |f (x)|, 而 前 
向 误差 (forward error) 是 |r 一 zel. 

“后 向 ”和 “前 向 ”的 用 法 可 能 需要 作 一 些 解释 . 我 们 的 观点 是 把 求解 过 程 作为 
中 心 . 问题 就 是 输入 , 而 解 就 是 输出 : 


定义 问题 的 数据 资料 -求解 过 程 | | 解 


本 章 的 “问题 ”就 是 单 变量 的 方程 , “求解 过 程 * (solution process) 就 是 解 方程 
的 一 种 算法 : 


方程 二 | 方程 解法 门 | 解 
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后 向 误差 是 在 左边 或 者 输入 (问题 数据 ) 一 边 . 我 们 需要 用 输出 的 近似 值 ze 来 
改变 问题 (函数 S) 使 方程 平衡 . 改变 的 量 就 是 后 向 误差 , 其 值 为 |f(ze)|. 前 向 误差 
是 在 右边 或 者 输出 (问题 的 解 ) 一 边 的 误差 . 我 们 需要 改变 近似 解 使 它 更 准确 . 改 
变 的 量 就 是 前 向 误差 , HEA |r- zel. 

例 1.7 的 困难 是 , 根据 图 1-7, 后 向 误差 接近 Emach 2.2 x 10-8, 而 前 向 误差 近 
似 于 1075. 双 精 度数 在 低 于 机 器 e 的 相对 误差 时 不 能 可 靠 地 计算 出 来 . 因为 后 向 
误差 与 可 靠 性 都 不 能 进一步 减 小 , 前 向 误差 也 不 能 减 小 . 

例 1.7 相当 特殊 , 因为 函数 在 r= 3 处 有 3 重 根 . 注意 


3 
fla) = 25 - 201 + fa- = (2-3) i 


3 27 3 
这 是 一 个 重 根 的 例子 . 
定义 1.9 ”假设 > 是 可 微 函数 f 的 一 个 根 , 即 假设 f(r) = 0. MBA, wR 
0= f(r) = f(r) = f(r) = = f(r), 但 是 fm(r) 闫 0, 我们 就 说 f 在 7 处 


有 mm BR. 如 果 重 数 大 于 1, 我 们 就 说 f Ar 处 有 重 根 . 如 果 重 数 是 1, 则 称 这 个 
根 是 单 根 . 

例如 , f(x) = z? E r = 0 处 有 一 个 重 数 为 2 的 根 或 者 二 重 根 , 这 是 因为 1(0) = 
0, f'(0) = 2(0) = 0, 但 是 1”(0) = 2 4 0. 同样 , f(z) = z3 在 r = 0 处 有 一 个 重 数 为 
3 的 根 或 者 三 重 根 , 而 f(z) = zm 在 > = 0 有 一 个 mm 重 根 . 例 1.7 在 >= 3 处 有 一 
个 重 数 为 3 的 根 或 者 三 重 根 . 

因为 函数 的 图 形 在 靠近 重 根 处 相对 平坦 , 近似 解 附近 后 向 误差 和 前 向 误差 之 间 
存在 巨大 的 差异 . 垂直 方向 测量 得 到 的 后 向 误差 常常 比 水 平方 向 测量 得 到 的 前 向 误 
差 要 小 得 多 . 

例 1.8 函数 f(z) = sinz -s Æ r = 0 处 有 一 个 三 重 根 , 求 近似 根 ze = 0.001 
的 后 向 误差 和 前 向 误差 . 

因为 

f(0)=sin0-0=0, f'(0) = cos@-1=0, 
f" (0) =—sind-0=0, f” (0) = cos@ = —1, 


所 以 0 处 的 根 的 重 数 是 3. 
前 向 误差 是 FE = |r 一 zc| = 10-3. 后 向 误差 是 常数 , 它 要 被 加 到 f(z) 使 ze 成 
为 一 个 根 , 即 
BE = |f(z-)| = |sin(0.001) — 0.001| ~ 1.666 7 x 107™. < 
后 向 误差 和 前 向 误差 与 方程 解法 的 停止 准则 有 关 .， 目的 是 求 根 r 使 之 满足 
f(r) = 0. 假设 算法 产生 了 近似 解 zc, 我 们 怎样 确定 它 是 否 足够 令 人 满意 ? 
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我 们 想到 有 两 种 可 能 : (1) 使 lrc 一 "| 小 , (2) 使 |f(ze)| 小 . 在 zc =r 的 情形 下 ， 
不 用 作 决 定 : 两 种 检查 方法 是 相同 的 . 然而 , 我 们 很 少 能 幸运 地 遇 到 这 种 情形 . 在 
更 典型 的 情形 中 , 方法 (1) 和 (2) 是 不 同 的 , 而 且 它们 对 应 于 前 向 误差 和 后 向 误差 . 

前 向 误差 合适 还 是 后 向 误差 合适 依赖 于 问题 的 环境 . 如 果 我 们 用 对 分 法 , 两 种 
误差 都 很 容易 看 出 来 . 对 于 近似 根 rc, 可 以 通过 计算 f(c.) 的 值 求 出 后 向 误差 , 而 
前 向 误差 不 会 比 目 前 区 间 长 度 的 一 半 更 大 . 对 于 FPI, 因为 没有 括 起 来 的 区 间 , 所 
以 我 们 的 选择 更 有 限 . 和 前 面 一 样 , 后 向 误差 被 认为 是 f(z。), 但 是 , 要 知道 前 向 误 
差 就 需要 知道 真正 的 根 , 而 它 正 是 我 们 试图 去 求 的 . 

方程 解法 的 停止 准则 可 以 基于 前 向 误差 也 可 以 基于 后 向 误差 . 还 有 可 能 相关 
的 其 他 停止 准则 , 例如 对 于 运算 时 间 的 限制 . 停止 准则 的 选取 要 根据 问题 的 上 下 文 
而 定 . 

函数 在 重 根 附近 是 平坦 的 , 这 是 因为 导数 f' 在 那里 等 于 零 . 因此 , 在 分 离 重 根 
时 像 我 们 已 说 明 的 那样 可 以 预计 会 遇 到 一 些 麻烦 . 但 重 数 仅 是 冰山 一 角 . 如 1.3.2 
节 所 示 , 在 看 不 到 重 根 的 地 方 可 能 产生 类 似 的 困难 . 


1.3.2 Wilkinson 多 项 式 


只 有 单 根 但 在 数值 上 很 难 确定 的 著名 例子 由 J. Wilkinson[7] 给 出 . Wilkin- 
son 多 项 式 形 如 


W(a) = (z — 1)(z — 2)---(w — 20), (1.19) 
乘 出 来 就 是 


三 (z)=z20 一 210z19 十 20 615z18 一 1 256 850z17 十 53 327 946z16 一 1 672 280 820z15 
+40 171 771 630z14 一 756 111 184 500z13 十 11 310 276 995 381z12 
一 135 585 182 899 530z11+1 307 535 010 540 3952!°-10 142 299 865 511 45029 
+63 030 812 099 294 8962°—311 333 643 161 390 6402” 
+1 206 647 803 780 373 3602°—3 599 979 517 947 607 200z5 
+8 037 811 822 645 051 776z4 一 12 870 931 245 150 988 800z3 
+13 803 759 753 640 704 000x?—8 752 948 036 761 600 0002 
+2 432 902 008 176 640 000. (1.20) 


它 的 根 是 1~20 的 整数 . 然而 , 当 W(x) 按 它 非 因子 形式 (1.20) 定义 时 , 它 的 求 值 
因 几 乎 相等 的 大 数 相抵 消 而 受到 影响 . 为 了 看 清 对 于 求 根 的 影响 , 通过 表示 成 非 因 
子 形式 (1.20) 来 定义 MATLAB 的 m 文件 wilkpoly.m, 或 者 如 果 你 的 MATLAB 版 
本 中 有 符号 运算 功能 , 便 可 以 把 它 定义 得 更 简单 些 . 
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function Y=wilkpoly(s) 

syms x 

f=1; 

for i=1:20 

f=f* (x-i); 

end 

f=collect (f); 

y=subs(£,x,s); 

此 外 , 我 们 将 使 用 MATLAB 的 fzero 命 令 . 为 了 使 它 尽 可 能 简化 , 我 们 给 它 提 
供 一 个 实 根 z = 16 作为 初始 估计 . 

>> fzero(’wilkpoly’, 16) 

ans= ` 

16 .01468030580458 

MATLAB 的 双 精 度 运算 甚至 对 单 根 r= 16 也 不 能 得 到 正确 的 两 位 小 数 ， 这 并 
非 是 算法 的 缺陷 一 一 不 论 是 fzero 还 是 对 分 法 , 它们 都 与 不 动 点 迭代 或 者 其 他 任何 
浮 点 方法 一 样 有 着 相同 的 问题 . 关于 这 个 多 项 式 , Wilkinson|8] 在 1984 年 写 道 :“ 就 
我 而 言 , 我 认为 它 是 我 在 作为 数值 分 析 人 员 的 生涯 中 最 受伤 害 的 经 验 .”W(z) 的 根 
显然 是 整数 z = 1,… ,20. 使 Wilkinson 大 为 惊奇 的 是 , 由 于 存储 系数 中 很 小 的 相 
对 误差 使 根 产生 了 巨大 的 误差 放大 , 这 一 点 恰 在 上 面 的 求解 中 已 经 看 到 . 

如 果 使 用 因子 形式 (1.19) 而 不 是 (1.20), 那么 求 Wilkinson 多 项 式 的 精确 根 的 
困难 就 不 会 出 现 . 当然 , 如 果 多 项 式 在 我 们 开始 之 前 就 因 式 分 解 了 , 那么 就 不 需要 
计算 根 了 . 

1.3.3” 求 根 的 灵敏 度 

Wilkinson 多 项 式 和 有 三 重 根 的 例 1.7, 因为 类 似 的 原因 而 产生 困难 : 方程 的 小 
的 浮 点 误差 转化 成 根 的 大 误差 . 如 果 输 入 的 小 误差 (此 时 方程 有 解 ) 导致 输出 或 解 
的 大 误差 , 那么 称 这 个 问题 是 灵敏 的 (sensitive). 本 节 将 量化 灵敏 度 并 介绍 误差 放大 
因子 和 条 件数 的 概念 . 

为 了 了 解 是 什么 造成 了 这 种 误差 放大 , 我 们 将 建立 一 个 公式 来 预测 当 方程 改变 
BY, 根 变化 多 大 . 假设 问题 是 求 f(z) = 0 的 根 7, 但 是 对 输入 作 一 个 小 的 改变 eg(z)， 
这 里 e 很 小 . 设 Ar 是 相应 的 根 的 改变 , 所 以 

f(r + Ar) +e9(r + Ar) =0. 
把 f A g 展 成 一 次 Taylor 多 项 式 , 即 
f(r) + (Ar) f’ (r) + eg(r) + €(Ar)g'(r) + O((Ar)?) = 0, 
这 里 我 们 用 了 “大 O 记号 O((Ar)?), 它 表 示 包 括 (Ar)? 及 Ar WERKE. 对 于 
小 的 Ar, O((Ar)?) 项 可 忽略 不 计 , 从 而 得 到 
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AF’ (r) +eg'(r)) = -f (r) — eg(r) = —eg(r) 


Be AY —eg(") g(r) 


SFH FG)’ 
假设 与 f(r) 相 比 < 很 小 , 而 且 特别 地 f(r) 4 0. 
根 的 灵敏 度 公式 ; 
假设 + 是 f(x) 的 单 根 而 且 r+ Ar 是 f(z)+eg(z) 的 根 . 如 果 = < f'(r), 那么 


An ae: (1.21) 


例 1.9 估计 P(x) = (z 一 1)(z 一 2)(z 一 3)(z — 4)(x — 5)(x — 6) — 10-%x? 的 最 
大 根 . 
令 f(z)= (z — 1)(z — 2)(z — 3)(z — 4)(z — 5)(z — 6), € = 10-8 以 及 g(x) = z7. 
如 果 没 有 eg(z) 这 一 项 , 那么 最 大 根 是 + = 6. 问题 是 当 加 上 这 一 项 后 , 根 变化 多 大 ? 
由 灵敏 度 公式 得 到 
Ara -EE = —2 332.8e. 


意 即 在 f(z) 中 相对 较 小 的 输入 误差 e 对 输出 的 根 的 影响 被 放大 了 2000 多 倍 . 我 
们 估计 P(z) 的 最 大 根 是 7 + Ar = 6 — 2 332.8e = 6.002 332 8. 对 P(x) 用 fzero, 我 
们 得 到 准确 值 6.002 326 8. 4 

例 1.9 中 的 估计 足以 说 明 在 求 根 问题 中 误差 是 如 何 传播 的 . 该 问题 数据 中 第 6 
位 数字 上 的 误差 造成 了 答案 中 第 3 位 数字 的 误差 , 即 由 于 因子 2 332.8 而 丢失 了 3 
位 小 数 . 给 这 个 因子 取 名 很 有 用 , 对 产生 近似 解 ze 的 一 般 算法 , 我 们 定义 它 的 
相对 前 向 误差 
相对 后 向 误差 " 

前 向 误差 表示 使 re 准确 的 解 的 改变 , 对 于 求 根 问题 是 Jee- rl. 后 向 误差 表示 
使 re 为 准确 解 的 输入 的 改变 . 依据 我 们 所 研究 问题 的 灵敏 度 而 有 较 广 泛 的 选择 . 
在 本 节 开 始 使 用 的 选择 是 通过 |f(z。)| 改变 常数 项 , 相应 于 灵敏 度 公式 (1.21) 中 的 
g(a) = 1. 更 一 般 地 , 输入 数据 的 任何 改变 可 以 用 作 后 向 误差 , SE 1.9 中 选择 
g(z) = z7. 求 根 的 误差 放大 因子 是 


误差 放大 因子 = 


—eg(r)/(rf'(r))| _ lg(n)| (1.22) 


误差 放大 因子 = L or 


ar 
eg(r)/9(r) 


它 在 例 1.9 中 就 是 67/(5!6) = 388.8. 
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例 1.10 “用 根 的 灵敏 度 公式 研究 Wilkinson 多 项 式 中 zl15 项 的 改变 对 根 7 = 
16 的 影响 . 求 出 这 个 问题 的 误差 放大 因子 . 

定义 扰动 函数 W(x) = W(x) + sg(z), 这 里 g(x) = 一 1.672 280 820z15. 注意 
W’(16) = 15!4!( 见 习题 7). 用 公式 (1.21), 根 的 改变 近似 为 

1615 x 1 672 280 820< 

T514! 
实际 地 讲 , 我 们 从 第 0 章 知 道 , 对 每 一 个 存储 的 数 必须 假定 一 个 机 器 < 阶 的 相对 误 
差 . 机 器 Emach 的 z15 项 的 相对 改变 将 造成 根 > = 16 以 


Ar ~ 6.143 2 x 1013e. (1.23) 


Ar (6.143 2 x 1013)(+2.22 x 10716) ~ +0.013 6 


变化 到 + Ar ~ 16.013 6, 接近 1.3.2 节 代码 显示 的 结果 . 4, Wilkinson 多 项 式 
中 许多 其 他 z 的 罕 次 项 各 自作 出 了 自己 的 贡献 , 所 以 完全 地 描述 对 根 改 变 的 影响 
是 很 复杂 的 . 然而 , 灵敏 度 公式 让 我 们 看 清 了 误差 的 巨大 放大 过 程 . 

最 后 根据 (1.22), 我 们 把 误差 放大 因子 按 下 式 计算 


lg(r)| _ 165 x 1 672 280 820 _ 
PO axax ~ 38x10. 4 
误差 放大 因子 的 重要 性 是 , 它 告诉 我 们 16 位 数字 的 运算 精度 在 输入 到 输出 的 
过 程 中 损失 了 多 少 位 . 对 于 一 个 误差 放大 因子 为 1012 的 问题 , 我 们 预测 损失 了 16 位 
数字 中 的 12 位 , 在 根 中 仅 留 下 4 位 有 效 数字 , 这 就 是 Wilkinson 近似 re = 16.014--- 
的 情形 . 
上 述 误差 放大 的 例子 说 明了 求 根 对 于 特殊 的 输入 改变 的 灵敏 度 . 问题 的 灵敏 度 
可 能 大 小 不 一 , 这 取决 于 如 何 指定 输入 的 改变 . 问题 的 条 件数 (condition number) 定 
义 为 所 有 的 输入 改变 或 者 至 少 是 所 有 指定 类 型 的 改变 情况 下 最 大 的 误差 放大 . 条 件 
数 大 的 问题 称 为 病态 的 (ill-conditioned)， 而 条 件数 接近 1 的 问题 称 为 良 态 的 (well- 
conditioned). 在 第 2 章 讨论 矩阵 时 , 我 们 将 回 到 这 个 概念 . 


亮点 条件 作用 

这 是 第 一 次 出 现 条 件数 的 概念 , 它 是 误差 放大 的 度量 . 数值 分 析 研究 
的 是 算法 , 它 把 定义 问题 的 数据 取 为 输入 , 而 把 得 到 的 答案 作为 输出 . 条 
件数 指 的 是 理论 问题 本 身 固有 的 这 种 放大 的 部 分 , 而 不 考虑 用 于 求 它 的 特 
别 算法 . 

注意 到 误差 放大 因子 仅仅 度量 由 问题 产生 的 放大 是 十 分 重要 的 .和 
条 件 作用 一 起 , 有 一 个 平行 的 概念 , 即 稳定 性 . 它 指 的 是 由 算法 对 小 的 输 
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入 误差 的 放大 , 而 不 是 问题 本 身 . 如 果 一 种 算法 总 能 提供 带 有 小 的 后 向 误 
差 的 近似 解 , 则 称 其 为 稳定 的 . 如 果 问 题 是 良 态 的 , 并 且 算法 是 稳定 的 , 我 
们 就 能 够 期 望 后 向 误差 和 前 向 误差 都 是 小 的 . 


习题 1.3 


1. 


求 以 下 函数 的 前 向 误差 和 后 向 误差 , 这 里 的 根 是 3, 而 近似 根 是 rc = 0.74: 
(a) f(z) = 40-3; (b) f(z) = (4x ~— 3); (c) f(z) = (4e — 3)’; (d) f(z) = 
(4z — 3)3. 


. 求 以 下 函数 的 前 向 误差 和 后 向 误差 , 这 里 的 根 是 j, 而 近似 根 是 re = 0.333 3: 


(a) f(z) = 3z —1; (b) f(z) = (3z -— 1); (c) f(z) = (3z - 1); (d) f(z) = 
(3z — 1). 


. (a) R f(x) = 1 一 cosz MAR r = 0 的 重 数 ; 


(b) 求 近似 根 re = 0.000 1 的 前 向 误差 和 后 向 误差 . 


. (a) K f(z) = z2sin z? 的 根 r = 0 的 重 数 ; 


(b) 求 近似 根 re = 0.01 的 前 向 误差 和 后 向 误差 . 


， 找 出 求 线性 函数 f(z) = az — b 的 根 的 前 向 误差 和 后 向 误差 之 间 的 关系 . 
. 设 n 是 正 整数 . 定义 正 数 4 的 第 n 个 根 的 方程 是 z” — A = 0. (a) 求 根 的 重 数 ; (b) 证 


明 : 对 有 小 的 前 向 误差 的 n 次 近似 根 , 常数 项 的 后 向 误差 近似 地 是 前 向 误差 的 mn4("-D/" 
th 


, 设 W(x) Æ Wilkinson 多 项 式 . (a) 证 明 W'(16) = 15141; (b) 对 W'(j) 求 出 类 似 的 公 


A, 这 里 j 是 1 和 20 之 间 的 一 个 整数 . 


. & f(z) = 2” — aa" 并 设 g(z) = z". (a) 对 小 的 e, 用 灵敏 度 公式 给 出 felz) = 


2” — ac") + ex” 的 非 零 根 的 预测 ; (b) 求 出 非 零 根 并 与 这 个 预测 比较 . 


计算 机 问题 1.3 


1. 


2. 
3. 


设 f(z) = sinz 一 z. (a) RH r = 0 的 重 数 ; (b) 取 初始 估计 z = 0.1, 用 MATLAB 的 fzero 

命令 确定 根 的 位 置 . fzero 给 出 的 前 向 误差 和 后 向 误差 是 什么 ? 

对 f(z) = sinz? — 2° 执行 计算 机 问题 1. 

(a) 用 fzero 求 f(r) = 2z cosz 一 2z 十 sinz? 在 [—0.1,0.2] 上 的 根 . 报告 前 向 误差 和 后 
向 误差 . 

(b) 取 初 始 区 间 [一 0.1, 0.2], 运行 对 分 法 , 求 出 尽 可 能 多 的 正确 数字 , 并 报告 你 的 结果 . 


。 (a) 对 常数 c, 用 (1.21) 近似 求解 f(z) = (1 + e)z? — 30? + 0-3 在 3 附近 的 根 . 


(b) W e= 107%, 求 出 实际 根 并 与 (a) 比较 . 


.用 (1.21) 去 近似 f(x) = (z 一 1)(z 一 2)(z 一 3)(z — 4) — 1078 a® Æ r = 4 附近 的 根 . 求 


误差 放大 因子 . 用 fzero 检 验 你 的 近似 . 


,用 MATLAB 命令 fzero 求 Wilkinson 多 项 式 在 靠近 z = 15 处 的 根 , z'， 项 的 系数 中 有 


5 二 2 x 1075 的 相对 改变 , 使 得 系数 的 绝对 值 稍微 变 大 一 点 . 与 (1.21) 得 出 的 预测 进行 
比较 . 
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1.4 Newton 法 


Newton 法 也 叫做 Newton-Raphson 法 , 其 收敛 速度 通常 比 我 们 前 面 已 看 到 的 
线性 收敛 方法 要 快 得 多 . 图 1-8 中 给 出 了 Newton 法 的 几何 图 形 . 要 求 出 f(z) = 0 
的 根 , 初始 估计 zo 是 给 定 的 , 画 出 函数 f 在 zo 处 的 切线 . 切线 朝 着 根 的 方向 贴近 
函数 向 下 到 z 轴 . 切线 与 z 轴 的 交点 就 是 近似 根 , 但 是 如 果 f 弯曲 , 很 可 能 不 准确 . 
因此 这 一 步 要 反复 进行 . 


图 1-8 Newton 法 的 一 步 . 从 zo 出 发 , 画 出 曲线 y = f(z) 的 切线 . 它 
与 = 轴 的 交点 是 oi, 是 根 的 下 一 个 近似 
从 这 个 几何 图 形 可 以 建立 Newton 方法 的 代数 公式 .切线 在 zo 的 斜率 由 导 
数 f(z) 给 出 , 切线 上 的 一 点 是 (zo, f(zo))， 直 线 方程 的 点 斜 式 是 y- f(zo) = 
f'(@0)(a 一 z0), 所 以 求 切线 与 > 轴 的 交点 等 同 于 在 直线 方程 中 取 y = 0: 


f'(xo)(« — z0) = 0 — f (z0), 


_ _ (0) 
eae IC 
__ _ £(zo0) 
oS 0 (zo)’ 


解 z 给 出 了 根 的 近似 值 , 我 们 把 它 叫 做 z1. 下 一 步 是 重复 整个 过 程 , 从 ri 开始 产 
E zz, 如 此 等 等 , 得 到 如 下 迭代 公式 : 


Newton 法 
zo = 初始 估计 ， 
an = FEL, 7=0,1,2,---. 


例 1.11 HAR r +2-1=0, RK Newton 法 的 公式 . 
因为 f(z) = 3z? +1, 公式 由 下 面 给 出 
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Titl = Ti 一 


zł +zri—1 273+1 


3z? +1 3r +1 


从 初始 点 zo = 一 0.7 开始 迭代 这 个 公式 得 到 


oy = 2+) 
323 +1 

mg = tl, 
323 +1 


2x (-0.7)3 +1 
3x (0.7)? +1 


0.957 7. 


图 1-9 从 几何 上 表示 了 这 几 步 . 表 1-8 给 出 了 以 后 各 步 . 


= 0.127 1, 


图 1-9 Newton 法 的 三 步 . 从 zo = —0.7 开始 的 例 1.11 的 图 解 , Newton 


表 1-8 

i 加 ei = |z; -r| eile? 
0 一 0.700 000 00 1.382 327 80 

1 0.127 125 51 0.555 203 00 0.290 6 
2 0.957 678 12 0.275 350 32 0.893 3 
3 0.734 827 79 0.052 499 99 0.692 4 
4 0.684 591 77 0.002 263 97 0.821 4 
5 0.682 332 17 0.000 004 37 0.852 7 
6 0.682 327 80 0.000 000 00 0.854 1 
党 0.682 327 80 0.000 000 00 


法 和 迭代 解 沿 着 切线 画 出 , 该 方法 可 以 认为 收敛 于 根 


仅仅 6 步 后 , 根 达 到 6 位 精确 数字 . 关于 误差 以 及 它 怎样 快 地 变 小 , 我 们 还 可 
以 多 说 一 点 . 注意 在 表 中 , 收敛 性 一 旦 开始 成 立 , 每 一 次 迭代 在 z; 中 正确 的 位 数 近 


似 地 加 倍 . 这 是 “一 次 收敛” 方法 的 特点 , 我 们 将 在 下 一 节 看 到 . 


1.4.1 Newton 法 的 二 次 收敛 性 


例 1.11 中 的 收敛 速度 大 大 快 于 对 分 法 和 不 动 点 迭代 中 的 线性 收敛 速度 . 我 们 


需要 新 的 定义 . 
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EX 1.10 设 ei 表 示 一 种 迭代 方法 在 第 i 步 后 的 误差 . 如 果 
M= lim ao < oo， 


isco e? 
MAREK ARORA. 

定理 1.11 Rf 是 二 次 连续 可 微 函 数 , HH f(r) = 0. wR f(r) £0, 那么 
Newton 法 局 部 而 且 二 次 收敛 于 7. Hi 步 的 误差 满足 


其 中 
Iro 
弛 (| 
证 要 证 明 局 部 收敛 性 , 只 要 注意 Newton 法 是 不 动 点 迭代 的 特殊 形式 , 这 里 
g(a) =2- £2), 
O) 
其 导数 为 


LER- fla) f"(a) _ Hef") 
Fa? “Fa? 
因为 g'(r) = 0, 根据 定理 1.6, Newton 法 是 局 部 收 化 的 . 
为 证 明 二 次 收 敏 性 ， 下面 用 另 一 种 方法 来 导出 Newton 法 . 这 一 次 我 们 密切 关 
注 每 一 步 的 误差 .误差 在 这 里 表示 正确 的 根 和 目前 的 最 佳 估计 之 间 的 差 
Taylor 公式 给 出 了 函数 在 给 定点 和 附近 另 一 个 点 的 值 之 间 的 差 ， 对 于 这 两 个 
点 ， 我 们 将 选用 根 r fi 步 之 后 的 当前 估计 ri， 并 在 展开 两 项 之 后 停止 ， 取 一 个 
RR: 
IO) = Flea) + (r= asta) + 2H" e. 
这 里 ci 在 ri 和 7 之 间 . 因为 了 AR, 我 们 有 
2 
O= fle) + -afe + EEE a) 
_ fle) (r=)? f(e) 
Pæ) 2 e 
这 里 假设 f'(ci) 40. 重新 整理 后 , 我 们 就 能 把 下 一 步 的 Newton 和 迭代 解 与 根 进行 
比较 : 


=r- zi+ 


Fa) p eo? fla) 

F'(zi) 2 f(a)’ 

2 f"(a) 

+ 2f' (2)? 
f"(G) 

2f'(xi) |" 


Tit — 7 =; 


Cin: =e? (1.24) 
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在 这 个 等 式 中 , 我 们 已 定义 第 i 步 的 误差 是 ei = zi 一 r. 因为 ci 落 在 7 和 zi 之 间 ， 
它 会 如 Ti 那样 收敛 于 了， 并且 


ei+1 f") 


iSo e? T |2F%(r) |" 


这 就 是 二 次 收敛 性 的 定义 . 
可 以 把 已 建立 的 误差 公式 (1.24) 看 成 


eit1 ~ Me?, (1.25) 


假定 f(r) #0, 这 里 的 M = igs . 由 于 估计 值 z; 趋 近 于 r, 又 因为 ci 在 z; 和 
r 之 间 , 所 以 当 Newton 法 收敛 时 , 这 个 近似 值 会 更 好 . 这 个 误差 公式 倒是 可 以 与 线 
性 收敛 方法 的 公式 eii ~ Se; 进行 比较 , 对 于 FPI, 这 里 的 S = |g'(7)|, 而 对 于 对 分 
法 , S=}. 

虽然 5 的 值 对 线性 收敛 方法 是 关键 的 , 但 是 M 值 的 重要 度 却 要 低 一 些 . 因为 
这 个 公式 包含 了 前 一 个 误差 的 平方 . 一 旦 误差 显著 地 小 于 1, 平方 将 使 它 进 一 步 减 
小 , HARE M BAK, 根据 公式 (1.25) 误差 也 会 减 小 . 

回 到 例 1.11, 我 们 可 以 分 析 输出 表 来 说 明 误差 的 比率 , 右边 的 一 列表 示 比 a 
根据 Newton 法 误差 公式 (1.25), 当 根 收敛 时 , 它 应 趋 近 于 M. 对 于 f(z) = a+r], 
其 导数 是 f(z) = 32? +1 及 f" (x) = 6x, 在 zc s 0.682 3 处 求 值得 到 M ~ 0.85, 这 
与 表 的 右 列 中 的 误差 比 是 一 致 的 . 

有 了 对 Newton 法 的 新 理解 , 我 们 就 能 够 全 面 地 解释 例 1.6 的 平方 根 算法 . 设 
a 是 正 数 , 考虑 用 Newton 法 求 f(z) = z? - a 的 根 . 迭代 是 


a ad _a-a_aita_ ats 
mnsa- Fey = Bi ES = 7#. (1.26) 


对 任意 的 a, 这 就 是 例 1.6 中 的 方法 . 
为 了 研究 其 收敛 性 , 在 根 Va 处 求 导 数值 : 


f'(Va) = 2Va, 
Ifa) =2 (1.27) 


因为 f'(Va) = 2Va + 0, 所 以 Newton 法 二 次 收敛 , 而 且 收 敛 速度 是 
es Me, (1.28) 


这 里 M = 2/(2.2Va) = 1/(2Va). 
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1.4.2 Newton 法 的 线性 收敛 性 


定理 1.11 没有 说 Newton 法 总 是 二 次 收敛 . 为 了 二 次 收敛 有 意义 我 们 需要 用 
Fir) 相 除 . 这 个 假设 被 证 实 是 关键 的 . 下 面 的 例 1.12 说 明 Newton 法 并 不 是 二 次 
收敛 的 情形 . 

例 1.12 FA Newton 法 求 f(z) = z? 的 根 . 

这 可 以 看 成 一 个 小 问题 , 因为 我 们 知道 有 一 个 根 > = 0. 但 是 把 一 种 新 方法 用 
到 我 们 完全 了 解 的 例子 中 去 常常 是 有 启发 性 的 . Newton 法 的 公式 是 

f(zi) CAE 
TSR Aa) Bey a2 
出 人 意料 的 结果 是 : Newton 法 简化 成 除 以 2， 因 为 根 是 > = 0, 所 以 对 初始 估计 
zo = 1, 有 Newton 迭代 的 表 1-9. 


表 1-9 
i Zi e = |zi -rl ex/ei—1 
0 1.000 0.000 
1 0.500 0.500 0.500 
2 0.250 0.250 0.500 
3 


0.125 0.125 0.500 


Newton 法 确实 收敛 于 根 > = 0. 误差 公式 是 ei = ei/2. 所 以 收敛 是 线性 的 ， 
其 收敛 比例 常数 5 = 5. < 

如 下 例 所 示 , 对 任意 的 正 整数 m, zm" 有 类 似 结果 成 立 . 

例 1.13 ”用 Newton 法 求 f(z) = zm 的 根 . 

Newton 公式 是 


Ti+ = Ti- — mi = Ti, 
mz} m 


同样 , 仅 有 的 根 是 > = 0, 所 以 定义 ei = |zi 一 r| = zi, 得 到 


ei+1l = Sei 
这 里 S = mI. 
这 个 例子 表明 了 Newton 法 在 重 根 处 的 一 般 性 质 . 注意 到 重 根 的 定义 1.9 en 
于 f(r) = f(r) = 0, 恰好 在 这 种 情形 下 我 们 不 能 对 Newton 法 误差 公式 求 导 . WHE 


根 有 一 种 独立 的 误差 公式 . 我 们 看 到 的 单项 式 重 根 是 一 般 情 况 的 代表 , 如 定理 1.12 
中 所 总 结 的 那样 . 
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定理 1.12 MRA [a,b] 上 (m 十 1) 次 连续 可 徽 函 数 f Ar 处 有 m EM, M 
么 Newton 法 局 部 收 第 到 7T, 而 且 第 i 步 的 误差 ei 满足 


lim H = 5， (1.29) 


ioc ei 


这 里 9 = m1, 


亮点 ”收敛 性 

式 (1.28) 和 式 (1.29) 表示 Newton 法 中 可 能 的 两 种 不 同 的 收敛 到 根 
的 速度 . 在 单 根 情形 下 , f'(7) A 0, 收敛 是 二 次 的 , 或 者 是 满足 式 (1.28) 的 
快速 收敛 , 在 重 根 情形 下 f'l) = 0, 收敛 是 线性 的 , 并 且 满足 式 (1.29). 在 
后 一 种 线性 收敛 情形 下 , 较 慢 的 收敛 速度 使 Newton 法 与 对 分 法 和 FPI JA 
同一 类 别 . 


例 1.14 求 f(z)=sinz+z?cosz 一 z? 一 z 的 根 + = 0 的 重 数 ,并 估计 Newton 
法 收敛 到 6 位 正确 小 数 所 需要 的 步 数 ( 设 zo = 1). 


容易 验证 
f(z) = sinz + 2*cosz — x? — z, 
f'(x) = coss + 2z cosg — z? sinz — 2x — 1, 
f" (£) = -sinz + 2cosz — 4z sin z — x? cosx — 2 
它们 在 r= 0 处 都 等 于 0. 但 是 三 阶 导数 
f" (£) = 一 cosz 一 6sinz 一 6zcosz 十 z2sinz， (1.30) 


满足 1/”(0) = -1, 所 以 根 + = 0 是 三 重 根 , 意 即 重 数 m = 3. 根据 定理 1.12, Newton 
法 以 eit+1 ~ 2ei/3 而 线性 收敛. 

设 初 始 估 计 zo = 1, 我 们 有 eo = 1. 接近 收敛 时 , 每 一 步 的 误差 递减 1/3. 因此 
要 得 到 误差 在 6 位 小 数 之 内 或 者 小 于 0.5 x 10-s 的 大 概 步 数 , 可 以 通过 解 


(3) < 0.5 x 1078 


beno) (1.31) 
一 
loglo(2/3) ae 
而 得 到 . 大 约 将 需要 36 步 . 最 初 20 步 见 表 1-10. 
注意 右 列 中 的 误差 比 收敛 到 预测 的 3. < 


如 果 事先 知道 根 的 重 数 , 那么 可 以 通过 小 的 修改 而 提高 Newton 法 的 收敛 性 . 
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表 1-10 

i Zi ei =|zi -rl ei/ei—1 

1 1.000 000 000 000 00 1.000 000 000 000 00 

2 0.721 590 239 860 75 0.721 590 239 860 75 0.721 590 239 860 75 
3 0.521 370 951 820 40 0.521 370 951 820 40 0.722 530 493 096 77 
4 0.375 308 308 590 76 0.375 308 308 590 76 0.719 848 904 662 50 
5 0.268 363 490 527 13 0.268 363 490 527 13 0.715 048 093 485 61 
6 0.190 261 613 699 24 0.190 261 613 699 24 0.708 969 813 015 61 
T 0.133 612 505 326 19 0.133 612 505 326 19 0.702 256 764 926 86 
8 0.092 925 286 725 17 0.092 925 286 725 17 0.695 483 454 174 55 
9 0.064 039 266 777 34 0.064 039 266 777 34 0.689 147 906 174 74 
10 0.043 778 062 160 09 0.043 778 062 160 09 0.683 612 795 135 59 
11 0.029 728 055 524 23 0.029 728 055 524 23 0.679 062 846 946 49 
12 0.020 081 683 737 77 0.020 081 683 737 77 0.675 512 857 590 09 
13 0.013 512 127 304 17 0.013 512 127 304 17 0.672 858 286 217 86 
14 0.009 065 795 643 30 0.009 065 795 643 30 0.670 937 702 052 49 
15 0.006 070 292 922 63 0.006 070 292 922 63 0.669 581 927 662 31 
16 0.004 058 851 096 27 0.004 058 851 096 27 0.668 641 719 271 13 
17 0.002 711 303 677 93 0.002 711 303 677 93 0.667 997 818 500 81 
18 0.001 809 959 662 50 0.001 809 959 662 50 0.667 560 656 240 29 
19 0.001 207 723 844 67 0.001 207 723 844 67 0.667 265 613 533 25 
20 0.000 805 633 071 49 0.000 805 633 071 49 0.667 067 289 464 60 


定理 1.13 PRAX f 在 区 间 [a,b] 上 (m + 1) 次 连续 可 微 ， 且 含有 重 数 
m > 1 的 根 r, 那么 修正 Newton 法 
_ mf (xi) (1.32) 


局 部 且 二 次 收敛 于 r. 
回 到 例 1.14, 我 们 可 以 用 修正 Newton 法 来 实现 二 次 收敛 . 5 步 后 对 > = 0 的 
收敛 已 取 到 大 约 8 位 数字 的 精度 , 见 表 1-11. 


表 1-11 

Zi 
1.000 000 000 000 00 
0.164 770 719 582 24 
0.016 207 337 711 44 
0.000 246 541 437 74 
0.000 000 060 722 72 
—0.000 000 006 332 50 


表 中 有 几 点 要 注意 . 首先 , 对 近似 根 的 二 次 收敛 性 是 可 以 看 得 出 来 的 , 因为 在 
每 一 步 近似 根 的 正确 位 数 大 体 上 加 倍 , 直到 第 4 步 . 第 6 步 及 以 后 各 步 都 和 第 5 步 


aawe ole 
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完全 一 样 . Newton 法 缺少 对 机 器 精度 的 收敛 性 , 我 们 在 1.3 节 中 已 熟 悉 其 原因 . 检 
验 得 0 是 重 根 . 虽然 后 向 误差 被 Newton 法 压 近 emax, 但 前 向 误差 等 于 zi, 并 大 了 
几 个 量 级 . 

和 FPI 一 样 , Newton 法 可 能 不 收敛 于 根 . 下 面 的 例题 正好 说 明 其 可 能 不 收敛 
的 行为 之 一 . 

例 1.15 取 初 始 估 计 zo = 1 对 f(z) = -z4 + 3x? + 2 应 用 Newton 法 . 

因为 f(z) 连续 , 在 > = 0 处 是 正 的 , 并 且 对 大 的 正 数 和 大 的 负数 2, CAFR 
无 穷 大 , 所 以 这 个 函数 有 根 . 然而 如 图 1-10 所 示 , 对 初始 估计 将 求 不 出 根 . Newton 
公式 是 
-z$ +31? +2 

—4r? + 6a; ` 

代入 得 到 zl = -1, 然后 又 得 到 z2 = 1. 在 这 个 例题 中 , Newton 法 交替 地 在 两 个 不 
是 根 的 1 和 -1 之 间 变 动 , 因此 求 根 失败 . 


Ti+1 = Ti — (1.33) 


7 -1 、 
图 1-10 在 例 1.15 中 Newton 法 失败 . 和 迭代 交替 于 1 和 一 1 之 间 , 因此 
不 收敛 于 根 
Newton 法 可 能 在 第 一 种 情形 失败 . 显然, 如 果 在 任 一 迭代 步 f(zi;) = 0, 则 该 
方法 就 不 能 继续 . LABRRBBIABAK (见习 题 6) 或 模拟 随机 数 生成 算法 ( 见 计 
算 机 问题 13) 的 其 他 例子 . 尽管 并 不 是 每 一 个 初始 估计 都 收敛 于 根 , 但 是 定理 1.11 
和 定理 1.12 保证 了 对 于 每 一 个 根 周围 的 初始 估计 , 在 其 邻 域内 收敛 于 根 . 
习题 1.4 
1. 取 初 始 估计 zo = 0, 应 用 Newton 法 进行 两 步 : 
(a) zs +2-2=0; (b)zf-z?+z-1=0; (c)z?-z-1=0. 
2. 取 初 始 估计 zo = 1, 应 用 Newton 法 进行 两 步 : 
(a) z3+22—1=0; (b)2?+=,-32=0; (c) 5r-10=0. 
3. 24 Newton 法 收敛 到 给 定 的 根 时 , 用 定理 1.11 或 定理 1.12 通过 前 面 的 误差 e 来 估计 误 
差 eiti WERNER KN? 
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(a) 2° — 224 + 22? — z =0; r=-1,r=0,r=1; 
(b) 224 — 52° +327 +2—-1=0, r=—},r=1. 


。 如 在 习题 3 中 那样 估计 ea: 


(a) 322° -322?-62+9=0,r=—},r=3; (b) 29—2?-5e-3=0;r =-1,r=3. 


.考虑 方程 8r* — 122° + 62? -r = 0. 对 两 个 解 z =0 及 r= 寺中 的 每 一 个 , 不 进行 计算 


确定 是 对 分 法 还 是 Newton 法 将 收敛 较 快 (譬如 说 精确 到 8 fir). 


.设计 一 个 函数 f 以 及 初始 估计 , 使 得 对 它们 的 Newton 法 发 散 . 
+ 设 f(x) = ct — 725 + 182? — 207 + 8.Newton 法 是 否 二 次 收 化 于 根 7 = 27 R lim St, 


这 里 et 表示 第 i 步 的 误差 . 


证明: 用 于 f(z) = az + b 的 Newton 法 一 步 就 收敛 . 

.证明 : 对 f(e) = z2 — A 用 Newton 法 便 产生 例 1.6 的 选 代 ， 

. 对 f(a) =a — A 用 Newton 法 , 求 所 产生 的 不 动 点 选 代 , 见习 题 1.2.10. 

+ 用 Newton 法 来 产生 一 个 二 次 收敛 方法 , 计算 正 数 4 的 第 n 个 根 这 里 n 是 正 整数 证 


明 二 次 收敛 性 . 


， 如 果 初 始 估计 是 zo = 1, 对 f(x) = 2 用 Newton 法 求 rso. 
。 (a) 函数 f(z)=zs 一 4z 在 r=2 处 有 根 . 如 果 应 用 Newton 法 4 步 之 后 的 误差 e = zi 一 r 


是 es=10-6, 估计 es. 
(b) 对 根 r=0 做 与 (a) 相同 的 问题 . (提醒 : 平常 所 用 的 公式 未 必 有 用 .) 


计算 机 问题 1.4 


1. 


2. 


每 个 方程 有 一 个 根 . 用 Newton 法 把 根 近似 到 8 位 有 效 小 数 . 
(a) za3=2z+2; (b)e*+z=7; (c) ec? +sinz=4. 
每 个 方程 有 一 个 根 . 用 Newton 法 把 根 近似 到 8 位 有 效 小 数 . 
(a) 2° +2=1; (b)sinz=6r+5; (c)Inz+z2=3. 


.用 Newton 法 尽 可 能 精确 地 求 出 仅 有 的 根 , 并 求 出 根 的 重 数 ， 然 后 用 修正 Newton 法 来 


二 次 收敛 于 这 个 根 . 报告 每 种 方法 得 到 的 最 佳 近似 的 前 向 误差 和 后 向 误差 . 
(a) f(x) = 272° + 5427 + 362+8; (b) f(x) = 36x* — 122° + 37x? — 12z+1. 


。 对 下 列 方程 , 执行 计算 机 问题 3 中 的 步骤 : 


(a) f(z) = 2e- z? —1; (b) f(z)=ln(3 一 z)+z 一 2. 


.一 个 具有 半球 形 圆 项 、10 米 高 的 直 圆 柱 形 粮 仓 的 体积 是 400 立方 米 , 求 粮仓 的 底 半径 ， 


精确 到 4 位 有 效 小 数 . 


。 顶 点 为 一 个 半球 形 止 洞 、10 厘米 高 的 圆锥 容纳 了 60 立方 厘米 的 冰淇淋 , 求 凹 洞 的 半径 ， 


精确 到 4 位 有 效 小 数 . 


. 考虑 在 区 间 [-2,2] 上 的 函数 f(z) = esm = + zs 一 2z4 — 03 一 1. 画 出 在 这 个 区 间 上 函数 


的 图 形 , 并 求全 部 3 个 根 , 精确 到 6 位 有 效 小 数 . 确定 哪些 根 二 次 收敛 , 并 求 线性 收敛 的 
根 的 重 数 . 


.对 下 面 的 函数 f(z), 执行 计算 机 问题 7 的 步骤 : 


f(x) = 94c0s* z —24cosz+1 77sin? z — 108sintz— 72cos* zsin? z — 65, x € [0,3]. 


. 用 Newton 法 求 函数 f(x) = 1l4re*-? — 12e”? — 7z3 + 20x? — 26x + 12 在 区 间 (0, 3] 上 
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10. 


e 


11. 


12, 


1 


的 两 个 根 . 对 每 个 根 打印 迭代 序列 、 误差 e; 及 收敛 到 非 零 极限 的 相应 的 误差 比 “入 或 
HAS 把 这 个 极限 与 定理 1.11 得 到 的 预期 值 M 或 者 定理 1.12 得 到 的 5 进行 比较 . 
设 f(z) = 54zs + 452° 一 102z4 — 692° + 3527 + 16x — 4. 画 出 在 区 间 [一 2,2] 上 的 函数 
图 形 , 并 用 Newton 法 求 这 个 区 间 内 的 全 部 5 个 根 . 确定 对 哪些 根 Newton 法 线性 收敛 ， 
而 对 哪些 根 收敛 是 二 次 的 . 

对 于 低温 和 低压 的 气体 , 理想 气体 定律 是 PV = nRT, 这 里 P 是 压强 (KAUR), V 是 体 
积 (Fh), T 是 温度 (开尔文 ), n 是 气体 的 摩尔 数 以 及 R = 0.082 057 8 是 摩尔 气体 常数 . 
Van der Waals 方程 


(P+ =) (V —nb) =nRT 
覆盖 了 非 理 想 情况 , 在 那里 , 这 些 假设 都 不 成 立 ， 用 理想 气体 定律 计算 初始 估计 , 接着 通 
过 对 Van der Waals 方程 用 Newton 方法 求 在 320K 和 15 atm( 大 气压 ) 的 压强 下 摩 
尔 氧气 的 体积 . 对 于 氧气 , a = 1.36L?-atm/mole? (Ft ?- 大 气压 /摩尔 ?), b = 0.003 183 
L/mole( 升 /摩尔 ), 用 3 位 有 效 数 字 表 示 你 的 初始 估计 和 解 . 
利用 计算 机 问题 11 得 到 的 资料 , RE 700K 及 20 个 大 气压 下 , 1 摩尔 基 燕 气 的 体积 . 对 
FH, a = 18.0L?-atm/mole?, b = 0.115 4 L/mole. 
(a) RBM f(z) = (1 - 3/(4z)) 的 根 ; (b) 应 用 Newton 法 并 夯 出 前 50 次 迭代 . 产生 
混乱 的 轨迹 是 Newton 法 可 能 失败 的 另 一 种 方式 . 


1.5 ”不 用 导数 求 根 
除了 重 根 之 外 , Newton 法 比 对 分 法 和 FPI 方法 收敛 得 快 . 它 能 达到 这 种 较 快 


的 速度 是 因为 它 用 了 更 多 的 信息 一 -特别 是 关于 函数 切线 的 信息 , 而 这 一 点 来 自 函 
数 的 导数 . 但 在 某 些 情形 下 , 导数 可 能 得 不 到 . 


在 这 种 情形 下 , 割 线 法 是 Newton 法 的 好 的 替代 . 它 用 一 种 称 为 割 线 的 近似 来 


代替 切线 , 而 且 几 乎 收敛 得 一 样 快 . 割 线 法 的 变形 用 一 条 近似 抛物 线 代替 这 条 直线 . 
抛物 线 的 轴 要 么 是 垂直 的 (Muller 法 ) 要 么 是 水 平 的 ( 反 二 次 插值 ), 这 一 节 最 后 将 
SUB Brent 方法 , 这 种 方法 结合 了 和 迭代 法 和 加 括号 法 的 最 好 优点 . 


1.5.1 ” 制 线 法 及 其 变形 


制 线 法 类 似 于 Newton 法 , 但 是 用 差 商 代替 导数 . 在 几何 上 , 是 用 一 条 通过 两 


个 上 次 已 知 的 猜测 的 直线 来 代替 切线 .“ 割 线 ” 的 交点 是 新 的 估计 . 


在 当前 的 估计 z; 处 , 导数 的 近似 是 差 商 


Ti 一 了 Ti 一 1 


在 Newton 法 中 , 直接 把 这 种 近似 代替 f(zi) 就 得 到 割 线 法 . 
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割 线 法 
zoz = 初始 估计 ， 
PA eaS f(zi) (zi — ti) 
Ce Flza)’ 


与 不 动 点 迭代 和 Newton 法 不 同 , 割 线 法 需要 使 用 两 个 初始 估计 . 
可 以 证 明 : 在 割 线 法 收敛 到 并 且 f'(r) AO 的 假设 下 , 近似 误差 关系 


i=1,2,3,---, 


7 


F”) 
2f'(r) 


CiCi-1 


Cin Š | 


成 立 , 因此 这 就 意味 着 rom 
Pr |? 
2F"(r) 
这 里 a = (14 V2)/2 ~ 1.62( 见 习题 6). 割 线 法 对 单 根 的 收敛 性 称 为 超 线性 的 (super- 
linear), 就 是 说 它 位 于 线性 收敛 和 二 次 收敛 方法 之 间 . 
例 1.16 WA zo = 0,z1 = 1, 用 割 线 法 求 f(z) =r + 2-1 的 根 . 
公式 给 出 


a 


ei Š ei 


(T? + zi — 1) (zi — 24-1) 


Titl = Ti 一 : 1.34 
HSR R + a, (eka + 2-1) (1.34) 
从 zo = 0 和 zl = 1 开始 , 我 们 计算 
1x(1-0) 1 1 -8x(}-1)_ 7 
=1- 一 一 一 一 一 “ 一 二 = 了 -一 -= 一 
7 1+1-0 23 33 a i’ 
如 图 1-11 所 示 . 进一步 迭代 形成 表 1-12 
表 1-12 
i i i 
0 0.000 000 000 000 00 5 0.682 020 419 648 19 
1 1.000 000 000 000 00 6 0.682 325 781 409 89 
2 0.500 000 000 000 00 F: 0.682 327 804 359 03 
3 0.636 363 636 363 64 8 0.682 327 803 828 02 
4 0.690 052 356 020 94 9 0.682 327 803 828 02 
< 


有 3 种 割 线 法 的 推广 也 是 重要 的 . 试 位 法 (method of false position 或 regula 
falsi) 类 似 于 对 分 法 , 但 是 这 里 的 中 点 被 类 制 线 法 近似 所 代替 . 给 定 含有 根 的 区 间 
[a, 6) (ABLE f(a) f(b) < 0), 像 在 割 线 法 中 一 样 , 定义 下 一 个 点 


_ 5f(a) -af (b) 


F(a) - FQ)’ 
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图 1-11 ” 割 线 法 的 两 步 . 例 1.16 的 图 解 . 从 zo=0 及 zi = 1 开始 , WR 
法 迭代 解 沿 着 割 线 画 出 
但 是 又 不 像 制 线 法 ， 因 为 点 (a, f(a) 和 (b, f(b) 在 z 轴 的 两 侧 ， 所 以 c 点 
ee BAA 10) 0.10) = METI, MU o A 
FO) < 0, 因此 新 区 间 仍 含有 根 . 


乍 一 看 , 试 位 法 似乎 是 对 对 分 法 和 钊 线 法 作 了 改进 , 吸收 了 每 一 种 方法 的 最 好 
性 质 . 然而 , 对 分 法 保证 每 一 步 都 将 不 确定 度 减少 3, 试 位 法 却 不 作 这 种 承诺 , 对 某 
些 例子 可 能 收敛 得 非常 慢 . 

例 1.17 ”用 试 位 法 在 初始 区 间 [-1,1] ER f(z) = 29 — 22 + $e HAR r= 0. 
给 定 zo = 一 1, zl = 1 作为 初始 区 间 , 我 们 计算 新 的 点 
mp = Tis (0) = of (wr) _ 1x(-$)-CD)x3_4 
25 Fao) — F(a) 一 一 5 
AA f(-1)F(4) < 0, 所 以 新 的 区 间 是 [zo, za] = [-1,0.8], 这 就 完成 了 第 一 步 . 注意 
这 个 解 的 不 确定 度 的 递减 因子 远 小 于 1. 如 图 1-12b 所 示 , 以 后 各 步 很 缓慢 地 朝 根 
c= 0 mi. < 
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图 1-12 例 1.17 中 的 慢 收敛 (a) 割 线 法 ; (b) 试 位 法 , 都 慢 收敛 于 根 > = 0 


Muller 方法 是 割 线 法 在 不 同方 向 的 推广 . 不 是 通过 前 面 两 个 点 与 轴 相 交 ， 
我 们 用 前 面 3 个 点 co, 21,22, 画 出 通过 它们 的 抛物 线 y = p(x), 而 且 这 条 抛物 线 与 
x 轴 相 交 . 抛物 线 一 般 有 0 或 者 2 个 交点 . 如 果 有 两 个 交点 , 则 距离 上 一 个 点 zz 最 
近 的 一 个 点 被 选 作 za. 用 二 次 公式 确定 这 两 种 可 能 性 是 一 件 简单 的 事情 . 如 果 抛 物 
线 与 z 轴 不 相交 , 就 有 复数 解 . 这 就 得 处 理 复数 算法 的 软件 来 确定 复 根 . 我 们 将 不 
再 深入 考虑 这 个 想法 , 尽管 关于 这 个 方面 的 文献 中 有 好 几 种 来 源 . 

反 二 次 插值 (Inverse Quadratic Interpolation, IQI) 是 割 线 法 对 抛物 线 的 推广 . 
虽然 抛物 线 具 有 z = p(y) 的 形式 , 而 不 像 在 Muller 方法 中 y = p(x) 的 形式 . 一 个 
问题 立刻 得 到 解决 : 这 条 抛物 线 将 与 z 轴 交 于 一 个 点 , 所 以 从 前 3 个 估计 zi titi, 


zit2 RR zi+s 还 是 很 明确 的 . 
通过 3 点 (a, A), (b, B), (c, C) 的 二 次 多 项 式 > = P(y) 是 
Ply) =o 凶 一 B) 人 一 C) 5 外 一 用人 一 C) ,yAv—B) (1.35) 


(A— B)(A—C) BBC + “(GC-A(G-B) 


这 是 Lagrange 插值 的 一 个 例子 , 它 是 第 3 章 所 研究 的 问题 之 一 . 现在 只 要 注意 到 
P(A) = a, P(B) =b 及 P(C) = c RET. 代入 y=0 就 给 出 了 抛物 线 与 z 轴 交 点 
的 公式 . 经 过 整理 和 代入 , 我 们 有 
r(r —q)(c— b) + (1 — r)s(c — a) 
(q-1)(r — 1)(s— 1) ` 

XE q = f(a)/f(b),r = f(c)/ f), s = F(0)/F(Q). 

WF IQI, IX a = zi, b = Ti41,0 = Zit 及 A= f(1;), B = f (£i41),C = f(wi42), 
则 下 一 个 估计 ri+s = P(0) 就 是 


P(0) =c— (1.36) 


ee T(r— Da Ee = z) ， (1.37) 
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这 里 g = f(zi)/f(zin),r = f(zit2)/f(zit1), 8 = f(zit2)/f(zi). BE 3 个 初始 
估计 , IQI 方法 通过 迭代 (1.37) 就 可 以 进行 处 理 . 用 新 的 估计 zi+s 代替 最 老 的 估 
计 mi IQI 的 另 一 种 实现 方式 是 用 新 的 估计 代替 前 面 3 个 估计 中 后 向 误差 最 大 的 那 

图 1-13 把 Muller 方法 与 反 二 次 插值 法 的 几何 图 形 作 了 比较 ， 由 于 是 高 阶 插 
值 , 所 以 这 两 种 方法 都 比 割 线 法 收敛 快 . 第 3 章 中 有 关于 插值 的 更 多 内 容 . 割 线 法 
及 其 推广 以 及 对 分 法 的 理念 是 Brent 方法 的 关键 要 素 . 这 是 1.5.2 节 的 主题 . 


图 1-13 ”Muller 方法 步 与 反 二 次 插值 步 的 比较 . 前 者 由 插值 抛物 线 y = 
p(x) 确定 , 后 者 由 z= p(y) 确定 


1.5.2 Brent 方法 


Brent 方法 是 混合 方法 , 它 利用 以 前 介绍 的 部 分 解 题 技巧 建立 一 种 保留 各 自 最 
有 用 性 质 的 新 方法 . 它 最 希望 把 对 分 法 保证 收敛 的 性 质 与 较 复杂 方法 的 快速 收敛 
性 质 结合 起 来 . 它 最 初 是 由 Dekker 和 Van Wijngaarden 在 20 世纪 60 年 代 提出 的 . 

这 种 方法 用 于 连续 函数 f, 而 且 区 间 以 a 和。 为 界 , 这 里 f(a)f(b) < 0. Brent 
方法 记录 在 后 向 误差 意义 下 最 好 的 当前 点 ri, 以 及 包括 根 的 区 间 [a;,b]. 粗略 地 讲 ， 
尝试 用 反 二 次 插值 法 , WR (1) 后 向 误差 改进 了 , (2) 包含 根 的 区 间 至 少 缩小 一 半 ， 
那么 就 用 结果 代替 zi, aibi 中 的 一 个 ; 否则 , 就 尝试 用 割 线 法 . 如 果 还 是 失败 , 就 按 
对 分 法 的 步骤 , 保证 其 不 确定 度 至 少 减 半 . 

MATLAB 命令 fzero 实 现 了 一 种 Brent 方法 , 包含 了 一 个 预 处 理 步 , 如 果 用 户 没 
有 提供 包含 根 的 初始 区 间 , fzero 就 会 找 一 个 比较 好 的 初始 区 间 . 停止 准则 属于 混 
合 的 前 向 /后 向 误差 类 型 . 当 ri 到 新 的 点 cig, 之 间 的 改变 小 于 2emax max(1, zi) 或 
者 当 后 向 误差 |f(zi)| 达到 机 器 零 时 , 算法 就 终止. 

如 果 用 户 提供 了 初始 区 间 , 那么 就 不 启用 预 处 理 步 . 使 用 下 面 这 个 命令 会 进入 
函数 f(z) = za + z - 1 和 初始 区 间 , 并 且 要 求 MATLAB 显示 每 一 次 迭代 的 部 分 
结果 . 
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>> fzero('x*3+x-1', [0 1],optimset ('Display', 'iter')) 


Func-count x f(x) Procedure 
1 0 -I initial 
2 1 1 initial 
3 0.5 -0.375 bisection 
4 0.636364 -0.105935 interpolation 
5 0.684910 0.00620153 interpolation 
6 0.682225 -0.000246683 interpolation 
7 0.682328 -5.43508e-007 interpolation 
8 0.682328 1.50102e-013 interpolation 
9 0.682328 0 interpolation 


Zero found in the interval: [0, 1]. 
ans= 
0.68232780382802 


另外 , 命令 
>> fzero('x"3+x-1', 1) 


首先 找 出 包含 根 的 区 间 , 然后 应 用 Brent 方法 , 从 而 求 f(z) 在 z = 1 附近 的 根 ， 
习题 1.5 


1， 取 初始 估计 zo = 1 及 zi = 2, 对 方程 执行 割 线 法 的 两 步 . 
(a) rz3=2z+2; (b)e*+z=7; (c)e*+sinz=4. 

2. 取 初 始 区 间 [1, 2], 对 习题 1 中 的 方程 执行 试 位 法 的 两 步 . 

3. 对 习题 1 中 的 方程 执行 反 二 次 插值 法 的 两 步 . 使 用 初始 估计 zo = 1,z1 = 2 及 za = 0, 
并 通过 保持 3 个 最 新 的 迭代 值 进行 更 新 . 

4. 一 位 渔民 想 在 温度 为 40°F 的 水 底 深 处 布置 鱼网 . 通过 投入 一 条 附 有 温度 计 的 细 绳 , 她 发 
现在 水 深 12 米 处 温度 是 38°, 而 在 水 深 5 米 处 温度 是 46°. 由 割 线 法 确定 温度 是 40° 的 
水 深 的 最 佳 估计 . 

5. 通过 把 y = 0 RAR (1.35), 推导 出 式 (1.36). 

6. 如 果 割 线 法 收敛 到 r, f(r) A 0, WA f”(r) A 0, 那么 能 够 证 明 近 似 误差 关系 ein. ~ 
If" (r)/(2f' (r))\ece:-1. 证 明 如 下 结论 : 如 果 另 加 上 条 件 , 对 某 个 a > 0, jim eit1/e? 存 
E, 并 且 不 等 于 0, 那么 a = (1+ V5)/2 并 且 esri & |f” (r)/2f' (r) eF. 


计算 机 问题 1.5 


1. 用 割 线 法 求 习题 1 中 每 个 方程 的 (单个 ) 解 . 

2. 用 试 位 法 求 习题 1 中 每 个 方程 的 解 . 

3. 用 反 二 次 插值 法 求 习 题 1 中 每 个 方程 的 解 . 

4. 设 f(x) = 542° + 452° 一 102z4 一 69z3 + 35z? + 16z — 4. 画 出 在 区 间 [—2, 2] 上 的 函数 
图 形 , 并 且 用 制 线 法 求 在 区 间 内 的 所 有 5 个 根 . 对 哪 一 个 根 是 线性 收敛 ? 对 哪 一 个 根 是 
超 线性 收敛 ?7 
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5. 在 习题 6 中 你 曾 被 问 及 , 对 于 在 区 间 [一 2, ] 上 的 f(z) = 2, 对 分 法 的 结果 会 是 什么 ? 现 
在 对 这 个 问题 应 用 fzero, 并 比较 结果 . 

6. (a) 如 果 要 求 fzero 去 求 f(z) = z? 靠近 1 处 的 根 会 发 生 什 么 (不 使 用 包含 根 的 区 间 )? 
解释 这 个 结果 . (b) 对 f(z) = 1+ cose 求 靠近 —1 处 的 根 回答 同样 的 问题 . 


实例 检验 1 STEWART 平台 的 运动 学 


Stewart 平台 包括 6 根 可 变 长 度 的 支柱 或 者 棱柱 锐 (prismatic joint), 支持 一 个 有 效 负载 
(pay load). 通常 利用 气功 或 液 力 传动 来 改变 支柱 的 长 度 ， 从 而 操纵 棱柱 镑 . 像 一 个 有 6 个 自 
由 度 的 机 器 人 一 样 , Stewart 平台 可 以 放 在 它 能 到 达 的 三 维 空间 中 的 任何 一 点 和 任 一 斜面 处 . 

为 了 简单 起 见 , 本 实例 考虑 二 维 的 Stewart 平台 . 它 将 模拟 一 个 操纵 装置 , 其 中 包括 一 个 
三 角形 平台 , 平台 位 于 一 个 由 3 个 支柱 控制 的 固定 平面 中 , 如 图 1-14 所 示 . 里 面 的 三 角形 表 
示 平 面 型 Stewart 平台 , 它 的 尺寸 由 3 个 长 度 Li, Lo, Ls 确定 . 设 y 表示 与 边 L 相对 的 角 . 
平台 的 位 置 由 3 个 支柱 的 可 变 长 度 的 3 个 数 pi, pa ps 所 控制 . 


(0, 0) (x, 0) 
图 1-14 平面 型 Stewart 平台 示意 图 ， 正 向 运动 问题 是 用 长 度 pi, p2, ps 
确定 未 知 量 x, y,0 
求 给 定 3 个 支柱 长 度 时 的 平台 位 置 称 为 这 个 操纵 装置 的 正 向 或 定向 运动 问题 . 即 该 问题 
是 对 每 一 组 给 定 的 pi, po,pas 计算 (z,y) 及 0. 因为 有 3 个 自由 度 , 我 们 自然 期 望 用 3 个 数 去 
确定 位 置 . 对 于 运动 计划 , 重要 的 是 尽 可 能 快 地 解 这 个 问题 (经 常 是 实时 解决 的 )， 不 幸 的 是 ， 
我 们 并 不 知道 平面 型 Stewart 平台 正 向 运动 问题 的 封闭 形式 的 解 . 
目前 几 种 最 好 的 方法 都 要 把 图 1-14 中 的 几何 图 形 简化 为 一 个 方程 , 并 且 用 本 章 介 绍 过 的 
解法 来 解 它 . 你 的 任务 是 完成 这 个 方程 推导 并 写 出 执行 其 解 的 程序 . 
把 简单 的 三 角 学 知识 用 到 图 1-14, 得 到 以 下 3 个 方程 : 
pt=2 +y’, 
| P? = (z + Az)? + (y + B2)’, (1.38) 
p3 = (z + As)? + (y + B3)’. 
在 这 些 方程 中 ， 
Aa = Facosg 一 zh 


Bz = Ls3sin@, 
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As = Ta cos(6 + y) — z2 = L2[cos @ cosy — sin 9 sin y) — 12, 


Bs = Lı sin(@ + y) — y2 = La[cos @ sin y + sin 8 cos] — y2- 


YER (1.38) 是 给 定 z,y, 6, K pi, p2, ps, 即 是 解 平面 型 Stewart 平台 正 向 运动 的 反问 题 . 你 的 
目标 是 解 正 向 问题 , 即 对 给 定 的 pl, pz, ps 求 r,y,6. 
把 (1.38) 后 两 个 方程 展开 , 再 利用 第 一 个 方程 得 到 


pa = 2? +y? +2422 +2B2y+ A} + B=p?+2A27+2B2y + AZ + Bi, 
P3 = 2? +y? + 2Asa + 2Bsy + A3 + B3 = p? + 2Asz + 2Bay + AZ + B3, 
它 能 够 解 出 A y: 
Bs (pi — pi — A3 — B3) — Ba(p3 — pi — A3 - B3) 
2(AaBs — B243) j 
— No _ z4s(p? — pi — A3 — B3) + Aa(p3 — pi — A3 — B3) 
up” 2(A2Bs — BaAs) : 
只 要 D = 2(A2Bs — Ba As) £0. 
把 这 些 zx 和 y 的 表达 式 代 入 (1.38) 中 的 第 一 个 方程 , HRA D’, 就 得 到 一 个 方程 , 即 


f =N? + Nz —piD? =0 (1.40) 


只 有 单个 未 知 量 6，( 回 想 一 下 , pi, pz, ps, Li, La, Ls, Y, 21,22, y2 是 已 知 的 .) 如 果 能 求 出 f0) 
的 根 , 那么 相应 的 = 和 y 的 值 立 刻 从 (1.39) 得 到 . 

注意 f(9) 是 sin 0 和 cos6 的 多 项 式 , 所 以 给 定 任 一 根 9, 对 平台 还 有 其 他 等 价 的 根 0+ 20k. 
因此 , 我 们 把 0 限制 在 [xn] 内 . 可 以 证 明 在 这 个 区 间 内 f(9) 最 多 有 6 个 根 . 


建议 习题 


1. 对 f(0) 写 一 个 MATLAB 函数 文件 . 参数 Li, Lo, La, Y, 01,02, y2 是 固定 的 常数 , 而 支柱 
KEE pi, pa, ps 对 给 定 的 位 砍 (pose) 是 已 知 的 . 为 了 测试 你 的 程序 , 在 图 1-15 PRES 
SMe Ly = 2, La = Ls = V2,7 = 3,71 = p = ps = V5, RERA 0 = -4 RA 0 = 5, 分 
别 对 应 于 图 1-15a 和 图 1-15b, 将 使 f(0) = 0. 

2. 画 出 f(9) 在 [—n, n] 上 的 图 形 , 应 该 在 土 # 处 有 根 . 

3. 重新 绘制 图 1-15, MATLAB 命令 

>> plot ([u1 u2 u3 u1], [vi v2 v3 vil, ‘r’); hold on 

>> plot ([0 xl x2], [0 0 y2], ‘bo’) 
将 画 出 一 个 顶点 是 (ut v1), (u2, r2), (u3,v3) 的 红色 三 角形 ， 并 且 在 支柱 的 支撑 点 (0, 0), 
(0, x1), (xa,ya) 画 出 小 圆 . 另外 , 画 出 支柱 . 

4. 求解 由 zi = 5, (z2, y2) = (0,6), = La = 3, L2 = 3V2, 7 = į, pi = m = 5, ps = 3 Pt 
确定 的 平面 型 Stewart 平台 的 正 向 运动 问题 . 从 画 出 f(9) 的 图 形 开始 . 用 第 1 章 中 的 一 
种 方程 解法 求 出 所 有 4 种 位 姿 , 并 把 它们 画 出 来 . 通过 查 对 pi, pz, ps 是 否 是 图 中 支柱 的 
长 度 来 验证 答案 . 

5. 把 支柱 长 度 改 为 pa = 7, 重新 解 这 个 问题 , 对 于 这 些 参数 , 有 6 AHL. 


c= ML 
= = 
(1.39) 
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6. 求 支柱 的 一 个 长 度 pz, 其 余 的 参数 与 第 4 步 相同 , HARARE. 

7. 计算 出 pz 的 区 间 , 其 余 的 参数 与 第 4 步 相同 , 使 其 分 别 有 0,2,4,6 种 位 姿 . 

8， 导 出 或 查寻 表示 三 维 . 6 个 自由 度 的 Stewart 平台 的 正 向 运动 的 方程 ， 写 出 MATLAB 程 
序 并 演示 用 它 来 解 正 向 运动 问题 . 关于 棱柱 形 机 器 人 手臂 和 平台 的 好 的 介绍 可 见 [4]. 


y 
4 4 


3 3 


z 
1 2 3 4 1 2 3 4 y 


(a) (b) 

图 1-15 “有 相同 臂 长 的 平面 型 Stewart PERRAS: AR 

应 于 支柱 长 度 pi =p =p = V5 的 (1.38) 的 一 个 解 . 三 角形 的 
FAR L, = 2, Za= Za=V5,7= 于 确定 的 


软件 和 进一步 阅读 

有 许多 确定 非 线性 方程 解 的 算法 : 像 对 分 法 这 种 虽然 慢 但 总 是 收敛 的 算法 ; 与 之 对 照 的 是 
收敛 较 快 、 但 不 能 保证 收敛 的 算法 , 包括 Newton 法 及 其 变形 . 方程 解法 也 可 以 分 为 两 组 , 取 
决 于 是 否 需 要 来 自 方程 中 的 导数 信息 . 对 分 法 、 割 线 法 及 反 二 次 插值 法 都 是 只 需要 一 个 提供 给 
定 输入 的 函数 值 的 黑箱 (black box), 而 Newton 法 需要 导数 . Brent 方法 O 兼 取 快 慢 两 类 算 
法 之 长 , 并 且 不 需要 计算 导数 .因此 , 它 广泛 地 用 作 一 般 用 途 的 方程 的 解法 , 而 且 收录 在 许多 
综合 软件 包 里 . 

MATLAB ”的 fzero 命 令 执行 Brent 方法 仅 需要 一 个 初始 区 间或 者 一 个 初始 估计 作为 输 
A. IMSL 的 ZBREN 程序 、NAG 程序 c05adc 以 及 netlib FORTRAN 程序 fzero.f 都 依 
靠 这 种 基本 方法 ，MATLAB 的 roots 命 令 用 完全 不 同 的 方法 求 多 项 式 的 所 有 根 ,计算 伴随 矩阵 
(companion matrix) 的 所 有 特征 值 , 这 种 伴随 矩阵 被 构造 为 具有 与 这 个 多 项 式 的 所 有 根 相等 
的 特征 根 . 

其 他 经 常 提 到 的 算法 都 基于 Muller 方法 和 Laguerre 方法 , 它们 在 适当 的 条 件 下 是 立方 
收敛 的 . 更 多 的 细节 , 可 查阅 由 Householder), Ostrowski”! 及 Traub!) 著 的 关于 方程 求解 
的 经 典 教科 书 . 
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挠 度 的 数学 模型 是 结构 工程 师 常会 用 到 的 基本 工具 .在 某 负 荷 下 结构 性 弯曲 
的 程度 依赖 于 材料 的 刚性 , 这 可 用 它 的 杨 氏 模 数 (Young's modulus) 来 度量 .压力 
与 刚性 之 间 的 抗拒 关系 可 由 某 一 微分 方程 来 模拟 , 该 方程 经 过 离散 化 后 可 化 为 一 线 
性 方程 组 , 从 而 可 求 得 其 解 . 

为 提高 精度 ,可 使 用 更 好 的 离散 化 方法 , 这 会 使 线性 方程 组 的 阶 数 变 大 且 通 常 
是 稀疏 的 . 对 于 中 等 规模 的 矩阵 , 高 斯 消去 法 是 有 效 的 ; HHAD. HRHAKR, 需 
用 特殊 的 迭代 算法 . 

实例 检验 25 节 后 的 实例 检验 2 研究 了 适用 于 固定 梁 和 悬臂 粱 的 Euler- 
Bernoulli 模型 的 求解 方法 . 


第 1 章 讨论 了 求解 只 含 一 个 变量 的 一 个 方程 的 方法 . 本 章 考虑 求解 含有 若干 
个 变量 的 若干 个 联 立 方程 的 问题 . 我 们 主要 关注 方程 的 个 数 与 未 知 量 的 个 数 相 等 的 
情形 . 

高 斯 消去 法 是 解 适当 规模 线性 方程 组 的 主要 方法 ， 本章 首先 建立 这 种 著名 方 
法 的 有 效 且 稳定 的 形式 , 接着 转向 大 型 方程 组 所 需要 的 迭代 方法 , 最 后 建立 求解 非 
线性 方程 组 的 方法 . 


2.1 ”高 斯 消去 法 


考虑 方程 组 


T+Yy=3, 
{ 3r- 4y= 2. G4) 
含有 两 个 未 知 量 、 两 个 方程 的 方程 组 可 从 代数 或 几何 的 角度 进行 考虑 , 从 几何 的 
观点 来 看 , 每 个 线性 方程 代表 平面 上 的 一 条 直线 , 如 图 2-1 所 示 . 两 条 直线 的 交点 
z=2,y=1 满足 这 两 个 方程 , 因此 它 就 是 我 们 要 求 的 解 . 
几何 观点 对 方程 组 解 的 形象 化 很 有 帮助 , 但 为 了 得 到 高 精度 的 解 , 我 们 还 得 加 
到 代数 . 高 斯 消去 法 是 求解 含 n 个 变量 的 n 个 方程 的 有 效 方法 . 在 接 下 来 的 几 节 
里 , 我 们 将 考察 能 最 好 地 解决 典型 问题 的 高 斯 消去 法 的 实现 形式 . 
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图 2-1 ”一 个 方程 组 的 几何 解 : (2.1) 的 每 个 方程 代表 平面 上 的 一 条 直线 ， 
相交 的 点 即 是 解 


2.1.1 基本 的 高 斯 消去 法 


我 们 首先 描述 高 斯 消去 法 的 最 简单 形式 . 事实 上 , 最 简 形 式 因 太 简 单 而 不 能 保 
证 执行 到 底 , 更 不 用 说 求 出 精确 解 了 , 所 以 这 种 基本 方法 需要 加 以 改进 , 其 修正 形 
式 在 后 面 几 节 予以 介绍 . 

有 3 种 有 用 的 运算 , 将 它们 作用 于 一 个 线性 方程 组 可 得 到 一 个 等 价 的 方程 组 ， 
即 两 个 方程 组 有 相同 的 解 . 这 3 种 运算 是 

(1) 将 一 个 方程 与 另 一 个 方程 进行 交换 ; 

(2) 将 一 个 方程 加 上 或 减 去 另 一 方程 的 倍数 ; 

(3) 将 一 个 方程 乘 上 一 非 零 常数 

对 于 方程 (2.1), 可 以 用 第 2 个 方程 减 去 第 1 个 方程 , 如 此 进行 3 次 , 从 第 2 个 
方程 中 消去 变量 z. 从 第 2 个 方程 减 去 3. [z + y = 3] 得 到 方程 组 


z+Yy=3, 
{ Ri (2.2) 
从 底下 的 一 个 方程 开始 ,“ 回 代 求解 ”可 以 得 到 一 个 完整 的 解 , 即 
—ty=-T>y=1, 
g+y=3724+(1)=352=2. 
则 (2.1) 的 解 是 (z,y) = (2,1). 
同样 的 消去 过 程 可 以 这 样 完成 : 不 用 写 出 变量 , 把 方程 组 写成 所 谓 的 表 形式 : 
1 1| 3 _， 从 第 2 行 减 ， 1 1| 38 
3 -4| 2 #3 x 第 1 行 0 -7| -7 |7 
这 种 表 形 式 的 优点 在 于 : 当 进 行 消去 过 程 时 , 所 有 的 变量 都 隐藏 起 来 了 . 当 表 的 左 
方 的 方 阵 化 为 “三 角形 ”时 , 我 们 就 可 以 从 底下 的 开始 , 回 代 求 出 解 . 


(2.3) 
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例 2.1 ”以 表 形 式 应 用 高 斯 消去 法 求解 含 3 个 未 知 量 的 3 个 方程 的 方程 组 


z+2y-z=3, 
2r +y- 2z2= 3, (2.4) 
-3z +y +z= 一 6. 
可 以 把 它 写 成 表 的 形式 ， 
i -siji .3 
C DED EE T AEN: D (2.5) 
-3 1 1| -6 


需要 两 步 消去 第 1 列 : 


1 2 -1| 3 
21 -2| 3 
a3 i 2) 6 


一 第 2 行 减 去 2 x 第 1 行 一 


i n O 
0 -3 0| -3 
-3 1 1| -6 

ti Qt] 3 
0 -3 0| -3 |. 


0 7 -2| 3 


一 第 3 行 减 去 (-3) x 第 1 行 一 


再 需 一 步 消去 第 2 列 : 
[1 2 -1| 3 
0-3 o| -3 
[o 7 -2| 3 


一 第 3 行 减 去 (- 了 ) x 第 2 行 一 


12-1] 3 
0 -3 010 -3 |: 


0 0 -2| -4 


可 到 方程 组 形式 

w+ 2y—z=3, 
—3y= —3, (2.6) 
—2z= 一 4. 

可 以 通过 求解 
Z=3 一 2y 十 2z， 
—3y= —3, (2.7) 
—2z= —4 


依次 解 出 z,y,z. 后 一 部 分 称 为 回 代 (back substitution) 或 回 解 (backsolving), 这 是 
因为 经 消去 过 程 后 , 由 底 往 上 方程 组 易于 解 出 . 解 是 >= 3,y = 1,z= 2. < 
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2.1.2 ”运算 计数 

本 节 对 高 斯 消去 法 的 两 部 分 (消去 步骤 和 回 代 步骤 ) 作 近 似 的 运算 (次 数 ) 计 
数 . 为 此 , 把 前 面 两 例 中 执行 的 运算 按 一 般 的 形式 写 出 来 是 有 帮助 的 . 首先 回忆 关 
于 整数 和 的 两 个 结论 . 

引 理 2.1 ”对 任意 正 整 数 n, (a) 1+24+3444---+n = n(n + 1)/2, (b) 
1? +2? +3? +4? 4---+n? =n(n+1)(2n+1)/6. 

En SR n 个 方程 的 表 的 一 般 形 式 是 


an anz … an| b 

azn 422 … am| be 
: ; saj 

anl an2 … am| bn 


为 执行 消去 步骤 , 我 们 利用 容许 的 行 运算 将 下 三 角 部 分 的 元 素 都 化 为 零 . 
可 以 把 消去 步骤 写成 循环 
for j =1: n-1 
eliminate column j 
end 
SOP, “eliminate column j” 的 意思 是 “使 用 行 变换 使 主 对 角 线 下 的 每 个 元 素 即 
ajii azt25 ;anj MBAR”. 例如 , 对 第 1 列 执行 消去 , 我 们 需要 把 az, ani 
都 化 为 零 . 这 可 以 写成 下 列 循环 , 它 包含 在 前 面 的 循环 中 : 
for j = 1 : n-1 
for i = j+l : n 
eliminate entry a(i,j) 
end 
end 
这 还 需要 利用 将 元 素 ai; 化 为 零 的 行 运算 完成 双 循环 的 内 循环 部 分 . 例如 , 第 一 个 
要 消去 的 元 素 是 az1. 为 此 , 我 们 从 第 2 行 减 去 a RER 147, 其 中 假设 a £0. 
即 前 两 行 从 形式 


al a2 … ain| b 
azn a +- am| be 
变 成 了 
au a12 T ain | bi 


Q21 a21 Q21 
0 oz 一 一 al … an 一 一 an| b2—-——by. 
a1 a1 a1 
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计算 运算 次 数 , 这 需要 1 次 除法 (以 得 到 乘 子 2). n 次 乘法 及 n 次 加 法 . 用 于 消 
去 第 1 列 元 素 an 的 行 运算 , 即 


an a2 pt ain | by 


需要 相似 的 运算 . 

刚才 描述 的 过 程 当 数 ai 非 零 时 方 可 执行 .在 高 斯 消去 法 中 最 终 成 为 除数 的 
这 个 数 及 其 他 数 ais 叫做 主 元 (pivot). 一 个 零 主 元 将 导致 算法 终止 , 正如 目前 我 们 
所 遇 到 的 情况 . 这 种 情形 现在 暂时 忽略 , 到 2.4 节 时 再 予以 谨慎 的 考虑 . 
可 到 运算 计数 , 注意 到 消去 第 1 列 时 对 每 个 元 素 aa 用 了 n+ 1 次 乘法 /除法 
及 次 加 法 /减法 . 为 简化 计数 工作 , 我 们 将 只 记录 乘法 和 除法 的 次 数 . 

第 1 列 消去 后 , 用 同样 的 方法 利用 主 元 az 消去 第 2 列 , 然后 再 依次 消去 其 他 
列 . 例如 , 利用 行 运算 消去 元 素 ay 为 


0 0 ajj Qjjitl ss ajn | bj 


0 0 0 mjn- aay st s Gin = aiajn | bi- aby. 
消去 ai; 的 行 运算 需要 n— 7 + 2 次 乘法 /除法 ( 按 我 们 的 记号 , 比如 说 azo, 是 指 第 
1 列 消去 后 相应 位 置 上 已 经 修改 了 的 数 , 而 非 原来 的 a22). 
将 这 个 步骤 插入 到 相同 的 双 循 环 中 得 到 
for j = 1 : n-1 
if abs(a(i.3) )<eps; error('zero pivot encountered'); end 
for i = j+#l in 
mult Paai); 
for k = j+1:n 


a(i,k) = a(i,k) - mult*a(j,k); 
end 
b(i) = b(i) - mult*b(j); 
end 


end 


对 这 段 程序 须 作 两 点 解释 . 第 一 , 要 求 指标 kM j BB) mw 会 将 ai; 位 置 处 元 素 置 
为 0, 而 从 j +1 BE) n 是 最 有 效 的 编码 . 后 者 在 ai; 处 并 不 置 为 0, 而 它 正 是 我 们 
试图 消去 的 ! 虽然 这 似乎 错 了 , 但 注意 到 除去 高 斯 消去 过 程 或 回 代 过 程 之 外 , 我 们 
再 也 不 会 回 到 这 个 元 素 , 所 以 从 效率 的 观点 看 , 在 那儿 置 为 零 意味 着 浪费 . 第 二 , 如 
果 磁 到 一 个 零 主 元 , 则 使 用 MATLAB 的 error 命 令 结束 程序 . 如 前 所 述 , 这 种 可 能 性 
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将 在 2.4 节 作 更 认真 的 讨论 . 

可 以 对 高 斯 消去 法 消去 过 程 中 的 运算 (或 乘法 /除法 ) 的 次 数 作 一 总 计数 . 对 i 
的 每 轮 循环 作 了 n 一 j 十 2 次 运算 , 且 执 行 了 n 一 j t, WARA (n 一 j++2)(n 一 让 
这 个 和 须 对 j 从 1 累加 到 n- 1, 这 样 的 和 按 倒序 可 简单 地 写成 


n-1 n-1 n-1 

Bx1+4x2t---+(nt)I(n-1) = D+ = OP +201 
t=1 l=1 l=1 

a (n — 1)n(2n — 1) 4 g@t= Dn 


6 2 
= 二 十 本 一 天 ， (2.8) 


其 中 应 用 了 引 理 2.1. 

高 斯 消去 法 消 元 步骤 的 运算 计数 ”对 含有 n 个 变量 的 n 个 方程 的 方程 组 , 完 
RADR E + 一 办 次 乘法 /除法 . 

我 们 解释 一 下 在 统计 高 斯 消去 法 的 运算 次 数 时 忽略 了 减法 次 数 的 合理 性 ， 当 
然 可 能 会 有 人 说 这 样 做 是 否 会 丢失 一 些 什么 . 而 事实 上 , 加 法 /减法 的 次 数 非常 接 
近 于 乘法 /除法 的 次 数 , 所 以 如 果 我 们 简单 地 把 乘法 /除法 的 次 数 加 倍 , 就 将 得 到 实 
际 运算 次 数 的 一 个 很 好 估计 (练习 8 要 求 读者 证 明 这 一 点 ). 在 正常 情况 下 , 我 们 仅 
对 近似 运算 计数 感 兴趣 , 因为 在 不 同 的 计算 机 处 理 器 上 具体 实现 的 细节 是 不 同 的 . 
要 点 在 于 , 按 这 种 情形 (只 计 乘法 /除法 ) 计 得 的 总 数 是 近似 正比 于 算法 执行 的 时 间 
的 . 

消 元 过 程 完成 后 , 表 成 为 上 三 角形 


an an … am| b 
0 an … an| b 


写成 方程 的 形式 , 即 为 
al1171 十 al1272 +++: + Aintn=bi, 
a2272 +++: + a2nTn = be, 
. (2.9) 


QnnTn = bn, 


其 中 ai 是 指 已 被 修改 而 非 原始 的 数据 . 为 完成 求解 = 的 计算 , 必须 执行 回 代步 又 ， 
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EE (2.9) 的 一 个 简单 改写 : 


(2.10) 


由 于 方程 组 非 堆 系数 的 三 角形 状 , 我 们 从 最 下 面 一 个 方程 开始 , 一 直 求解 到 最 上 面 
一 个 方程 . 按 这 种 方法 , 当 计算 下 一 个 变量 时 , 所 需要 的 那些 zi 都 已 经 知道 了 . 统 
计 乘 法 /除法 的 次 数 , 我 们 得 到 
1424+34 +n= D 
减法 的 次 数 是 相似 的 [实际 上 是 2e). 用 MATLAB 语法 格式 表示 回 代 过 程 即 为 
TEE 
b(i) = b(i) - a(i, j)*x(j); 

end 

x(i) = b(i)/a(i,i); 

end 

高 斯 消去 法 回 代 过 程 的 运算 计数 ton 个 变量 的 n 个 方程 的 三 角形 方程 
组 , 完成 回 代步 又 需要 T +p AMIR Mik. 

把 两 部 分 的 运算 计数 置 于 一 起 , 可 以 看 到 高 斯 消去 法 由 不 相等 的 两 部 分 组 成 : 
工作 量 相对 多 的 消 元 步骤 和 工作 量 相对 少 的 回 代步 骤 ， 如 果 我 们 忽略 乘法 /除法 
次 数 表达 式 中 的 低 阶 的 项 , 则 可 发 现 消 元 过 程 是 村 阶 的 运算 , 而 回 代 过 程 是 村 
阶 的 . 

我 们 将 经 常 使 用 速写 记号 O 表示 “是 多 少 阶 的 ”, 则 消 元 过 程 是 O( 写 ) 的 算法 
回 代 过 程 是 O( 宇 ) 的 . 


亮点 ”复杂 性 

运算 计数 表明 , 利用 高 斯 消去 法 对 含 n 个 未 知 量 的 n 个 方程 的 方程 
组 求解 的 直接 方法 是 O(N) 的 过 程 . 这 对 估计 求解 大 型 方程 组 所 需 的 时 
间 是 有 用 的 . 例如 , 估计 在 一 台 特定 的 计算 机 上 求解 含 n= 500 个 方程 的 
方程 组 所 需要 的 时 间 , 我 们 可 以 通过 求解 一 个 含 n = 50 个 方程 的 方程 组 
得 到 一 个 很 好 的 猜测 , 即 对 用 掉 的 时 间 按 比例 扩大 103 = 1 000 售 . 


这 种 方法 意味 着 重点 在 于 大 的 n, 其 中 突 次 较 低 的 n 相 比 而 言 可 以 忽略 不 计 . 
例如 , Æ n = 100, 回 代 步骤 只 占 到 高 斯 消去 法 计算 时 间 的 大 约 1% 左右 . 总 体 而 言 ， 
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高 斯 消去 法 花费 O) + OCF) 次 运算 . 按 O 的 记 法 , 把 n 的 不 同 次 备 相 加 的 结 
果 是 仅 保留 了 最 高 次 寡 , 因为 最 高 次 宕 决定 了 当 n 一 co 时 的 极限 形态 . 换 而 言 之 ， 
对 大 的 n, 复杂 计数 中 的 低 阶 项 对 算法 的 执行 时 间 的 估计 没有 太 大 的 影响 , 当 仅 需 
近似 估计 执行 时 间 时 可 忽略 不 计 . 

例 2.2 HA 500 个 变量 的 500 个 方程 的 方程 组 , 估计 执行 回 代 过 程 所 需 的 
时 间 , 所 用 计算 机 花费 1 秒 钟 完成 消 元 . 

因为 我 们 已 知 消 元 所 花 时 间 比 回 代 要 多 得 多 , 所 以 问题 的 答案 将 是 1 PP 
个 分 数 . 消 元 步骤 的 乘法 /除法 运算 次 数 的 近似 数 是 (500)3/3, 回 代步 骤 是 (500)?/2， 
则 我 们 估计 回 代 过 程 所 需 的 时 间 为 


(500)2/2 3 
(500)3/3 500 x 2 
这 个 例子 说 明 两 点 : (1) 运算 计数 中 n 的 较 低 次 赛 可 放心 地 忽略 不 计 ; (2) 高 斯 
消去 法 的 两 部 分 在 执行 时 间 上 可 以 很 不 一 样 -一 总 的 计算 时 间 是 1.003 秒 , 其 大 部 
分 花 在 了 消 元 步骤 上 . 下 一 个 例子 说 明了 第 三 点 . 尽管 回 代 的 时 间 有 时 可 以 忽略 不 
计 , 但 也 可 以 用 它 来 估计 一 些 重要 的 运算 . 
例 2.3 ”在 一 台 特 定 的 计算 机 上 , 执行 一 个 500 x 500 的 三 角形 矩阵 的 回 代 过 
程 需要 0.1 秒 . 用 高 斯 消去 法 求解 一 个 含 300 个 未 知 量 的 300 个 方程 的 一 般 方程 
组 , 估计 所 需 花费 的 时 间 . 
计算 机 在 0.1 秒 内 可 执行 (500)?/2 次 乘法 /除法 , 即 运算 速度 为 (500)?(10)/2 = 
1.25 x 106 次 运算 / 秒 . 求解 这 个 一 般 ( 非 奇 异 的 ) 方程 组 需要 大 约 (300)3/3 次 运算 ， 
在 大 约 


= 0.003s. < 


(300)3/3 
(500)? x 10/2 ~ 7.2s. 
内 可 以 完成 . < 
习题 2.1 
1. 用 高 斯 消去 法 求解 下 列 方程 组 : 
2a — 3y = 2, z+2y=—1, -z+y=2, 
(a) { 5z — 6y = 8; wf 2r + 3y=1; of 3x + 4y = 15. 


2. 用 高 斯 消去 法 求解 下 列 方程 组 : 


T+2y—2z=2, 2z7+y—4z= —7, 
(b) 3y+z=4, (c) z-ytž=-2, 


2r-y+z=23; -z + 3y - 2z = 6. 
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3. 用 回 代 法 求解 : 


3z — 4y + 5z= 2, TI-2y+z=2, 
(b) 4y -3z =1, 


-3z =3. 


21 -į 2 

; (b) | 6 2 -2 8 

-3 8 2| -1 4 6 -3 5 

5. 利用 高 斯 消去 法 的 近似 运算 计数 全 , 若 n 增 大 3 倍 , 估计 求解 含 n 个 未 知 量 的 n 个 方 
程 的 方程 组 要 花 多 长 时 间 . 

6. 假设 你 的 计算 机 要 在 0.5 秒 内 完成 1 000 个 方程 的 回 代 过 程 利用 回 代 过 程 的 近似 运算 
计数 村 及 消 元 过 程 的 等 次 , 估计 对 上 述 规模 的 方程 组 完成 高 斯 消去 法 需要 多 长 时 间 . 
将 你 的 答案 四 合 五 入 到 最 近 的 秒 数 . 

7. 假设 所 给 的 计算 机 对 一 个 400 x 400 的 上 三 角 和 矩阵 方程 完成 回 代 过 程 需要 0.2 秒 . 估计 
求解 一 个 含 900 个 未 知 量 的 900 个 方程 的 一 般 方程 组 所 需 的 时 间 . 将 你 的 答案 四 合 五 入 
到 最 近 的 分 钟 数 . 

8. 对 高 斯 消去 法 的 (a) 消 元 步骤 、(b) 回 代步 骤 找 出 准确 的 加 法 /减法 次 数 . 对 大 的 n, 这 些 
运算 计数 跟 乘法 /除法 的 运算 计数 相 比 会 相差 多 少 ? 


计算 机 问题 2.1 
1. 把 本 节 的 程序 片段 放 在 一 起 形成 “基本 ”高 斯 消去 法 的 MATLAB 程序 ( 意 即 不 允许 进行 
交换 ). 利用 此 程序 求解 习题 2 的 方程 组 . 
2. 设 H RR nxn 的 Hilbert 矩阵 , 其 (i,j) 元 素 是 Gj. 利用 计算 机 问题 1 的 MATLAB 
程序 求解 Ha = b, 其 中 b 分 别 是 (a) n = 2; (b) n = 5; (c) n= 10 的 其 列 元 素 全 为 1 
的 向 量 . 


2.2 LURE 
通过 进一步 利用 表 形 式 , 我 们 可 以 把 方程 组 表示 成 矩阵 形式 . 矩阵 形式 由 于 简 
化 了 算法 及 其 分 析 , 从 而 最 终 可 以 节约 时 间 . 
2.2.1 ”高 斯 消去 法 的 矩阵 形式 
方程 组 (2.1) 可 以 写成 Az = b 的 矩阵 形式 或 


[加 日 = 


我 们 通常 记 系数 矩阵 (coefficient matrix) 为 A, AYU (right-hand side) 向 量 为 b, 在 
方程 组 的 矩阵 形式 中 , 我 们 把 c 看 作 是 列 向 量 , Ac 看 作 是 矩阵 与 向 量 的 乘积 . 我 
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们 想 找到 z 使 得 向 量 Az 等 于 向 量 b. 当然 这 相当 于 Az 与 5 所 有 的 分 量 对 应 相 
等 , 而 这 正 是 原始 方程 组 (2.1) 所 需要 的 . 

把 方程 组 写成 矩阵 形式 的 优势 在 于 , 我 们 可 以 利用 像 矩 阵 相 乘 这 样 的 矩阵 运算 
以 追踪 高 斯 消去 法 的 步骤 . LU 分 解 是 高 斯 消去 法 的 矩阵 表示 , 它 把 系数 矩阵 4 写 
成 一 个 下 三 角 和 矩阵 工 和 一 个 上 三 角 和 矩阵 U 的 乘积 . LU 分 解 是 高 斯 消去 法 的 一 种 
表示 形式 , 而 这 是 科学 与 工程 中 具有 悠久 传统 的 一 种 表示 方式 , 即 把 一 个 复杂 的 对 
象 分 解 成 简单 的 部 分 . 

定义 2.2 ”一 个 m xn 4% L 是 下 三 角 的 (lower triangular), 若 其 元 素 满足 
lj =0(% i<j 时 ). —hmxn HU 是 上 三 角 的 (upper triangular), 若 其 元 素 
满足 uij =0(4 i> j a). 

例 2.4 RH (2.11) 中 矩阵 4 的 LU 分 解 . 

消 元 步骤 与 早先 见 到 的 表 形式 是 一 样 的 : 


和 从 第 2 行 1 1 
[a 


差别 在 于 现在 我 们 存储 了 消 元 步骤 中 用 到 的 乘 数 3. 注意 到 我 们 已 定义 U 是 表示 
高 斯 消去 法 结果 的 上 三 角 和 矩阵 . 定义 工 为 主 对 角 元 为 1 的 2 x 2 的 下 三 角 矩 阵 , R 
数 3 在 (2,1) 位 置 上 : 


然后 检验 有 


zz 了 ;|-[: :| -<^ (2.13) 
3 1 0 -7 3 一 4 


< 
不 久 我 们 会 讨论 这 样 做 的 理由 , 但 这 里 先 用 一 个 3 x 3 的 例子 来 说 明 这 些 步骤 
的 使 用 . 
2.5 求 
1 2 -1 
21-2 
= 1 a 


A= (2.14) 


的 LU 分 解 . 
这 个 矩阵 是 方程 组 (2.4) 的 系数 矩阵 , 消 元 步骤 如 前 进行 : 
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1 2 -1 第 2 行 1 2 -1 
2 1 -2 | 一 减 去 2x 第 1 行 了 | 0 -3 0 
-3 1 1 -3 1 1 
1 2 -1l ae ees 
第 3 行 减 去 3 TRE 
一 (-3)x 第 1 行 一 | 0 -3 0| 一 (- 耻 x 第 2 行 一 | 0 -3 0 sU. 
0 7 -2 0 0 -? 


如 前 例 一 样 构造 下 三 角 阵 L: 主 对 角 线 元 素 都 置 为 1, 乘 数 置 于 在 消 元 中 用 到 它们 
的 特定 的 地 方 下 三 角 处 , 即 


(2.15) 


注意 , 例如 , 由 于 2 是 用 于 消去 A 的 (2, 1) 位 置 的 元 素 , 所 以 2 置 于 工 的 (2, 1) 位 
置 处 . 现在 检验 有 


1 00||1 2-1 1 2 -1 

LU=| 2 10//0 -3 0|=| 21 -2|=4. (2.16) 
-3 -3 1 0 0 -2 -3 1 1 

< 


这 个 过 程 能 给 出 LU 分 解 的 理由 是 基于 下 面 3 个 关于 下 三 角 和 矩阵 的 事实 . 

事实 1 A Lyle) 表示 主 对 角 元 为 1,(i,j) 位 置 为 -c 其 余 元 素 都 为 0 的 
TEME. 则 A Lij(—c)A 表示 行 运算 “从 工行 减 去 c Rj A”. 

例如 , 用 Loi (—c) HRAS 


all al2 Q13 1 0 ai al2 413 
4=| an an an | >| -c 1 0 azı 422 a23 
a3ı a32 a33 0 0 1 a31 a32 a33 


a1 Q12 al13 

=| a21 一 call1 422 一 CQ12 423 一 CQ13 
a3l Q32 a33 

事实 2 Lylo) = Lij(o). 

例如 
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利用 事实 1 和 事实 2, 我 们 能 够 理解 例 2.4 的 LU 分 解 . 由 于 消 元 步骤 能 表示 成 


101fi 1 11 
zca4-| al 了 -| a 


我 们 在 式 子 两 边 同时 乘 上 La(-3) 得 到 


asfi ajii 


而 这 正 是 4 的 LU 分 解 . 
WAH n > 2 的 xm 的 矩阵 , 我 们 还 需要 一 个 事实 . 
事实 3 下面 的 矩阵 乘积 方程 成 立 : 
1 
cl 1 
c2 cs 1 
利用 这 个 事实 , 我 们 可 以 把 所 有 Li; 的 逆 结 合 起 来 写成 一 个 矩阵 , 即 LU 分 解 
的 矩阵 L. 对 于 例 2.5, 这 相当 于 
il 
0 -3 0|=U 
0 


C2 1 ca 1 


1 1 1 1 2 -1 
A= 1 2 1 0 -3 0 
1 -3 1 -4 1 0 0 -2 
1 1 2 -1 
=| 2 1 0 -3 0 |=LU. (2.17) 
-3 -į 1 0 0 -2 


2.2.2 ”利用 LU 分 解 的 回 代 过 程 


既然 我 们 已 经 把 高 斯 消去 法 的 消 元 步骤 表示 成 一 个 矩阵 乘积 LU 的 形式 , 那 
如 何 来 表示 回 代 步骤 呢 ? 更 重要 的 是 , 实际 上 我 们 如 何 才能 得 到 解 2? 

一 旦 得 到 了 LAU, 则 问题 Ac =b 可 以 写成 LUz =b. 定义 一 个 新 的 “ 辅 
BP 向 量 c= Uz, 则 回 代 是 一 个 两 步 的 过 程 : 

(a) 解 Le =b 得 到 c; 
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(b) 解 Uz = c 得 到 x. 

HF LA U 是 三 角形 矩阵 , 上 面 两 步 都 是 简明 易 解 的 . 我 们 用 以 前 的 两 个 例 
子 进行 验证 . 

例 2.6 AJ LU 分 解 (2.13) 求解 方程 组 (2.11). 

方程 组 有 LU 分 解 


barera 


由 (2.13) 及 右 端 项 b = [3, 2], 步骤 (a) 是 


这 对 应 于 方程 组 
cl 十 0cz = 3, 
3c, + c2 = 2. 
从 上 面 一 个 方程 开始 求解 , 解 是 cl = 3, ca = 一 7. 
步骤 (b) 是 
1 ijfa]_f[ 3 
0 stile] | 7 
这 对 应 于 方程 组 
Z1 十 Z2 一 3， 
-Tr = 一 7. 
从 下 面 一 个 方程 开始 求解 , 得 到 解 为 rz = 1l, zi = 2. 这 跟前 面 用 “经 典 ” 的 高 
斯 消去 法 计算 得 到 的 结果 是 一 致 的 . < 
例 2.7 利用 LU 分 解 (2.16) 求解 方程 组 (2.4). 
方程 组 有 LU 分 解 
1 2 -1 1 00 1 2 -1 
21 -2|=LU=/] 2 10 o —3, 0|. 
-3 1 1 =3 >f 1 0 0 -2 


由 (2.16) 及 b= (3,3, —6), 步骤 Le =b Æ 
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这 对 应 于 方程 组 
a=3, 
2c, + c2 = 3, 
—3e; — $c2 + c3 = —6. 


从 上 面 第 一 个 方程 起 , 求 得 解 为 c1 = 3,02 = -3,cs = 一 4. 


步骤 Uz = c 是 
1 2-1 zı 3 
0 -3 0 z |=| -3 
0 0 -2 T3 一 4 
这 对 应 于 方程 组 
Tı +2r2 — T3 = 3, 
—322= —3, 
—2z3= —4, 
从 下 往 上 求解 得 到 z = [3, 1,2]. < 


2.2.3 LU 分 解 的 复杂 性 


既然 我 们 已 经 知道 了 怎么 进行 LU 分 解 , 这 里 再 说 一 下 为 什么 要 进行 LU 分 
解 : 经 典 的 高 斯 消去 法 在 计算 过 程 中 的 消 元 步骤 中 既 要 处 理 A, 又 要 处 理 b, 而 正 
如 我 们 所 见 , 这 是 整个 过 程 中 花费 工作 量 最 多 的 部 分 . 现在 若 假设 我 们 要 求解 若干 
个 不 同 的 问题 , 它们 有 相同 的 4 b 不 同 , 即 给 了 我 们 一 批 问题 


Az =b, 
Az = ba, 


Az = bk, 


其 中 右 端 向 量 为 不 同 的 b;. 因为 我 们 必须 对 每 一 个 问题 从 头 到 尾 进行 求解 , 所 以 当 
AA nxn 的 矩阵 时 , 经 典 的 高 斯 消去 法 将 需要 大 约 A Be. 而 另 一 方面 , 借 
BDF LU 分 解 , 直到 消 元 过 程 (4 = LU 分 解 ) 结束 , 我 们 的 计算 才 用 到 右 端 项 b. 
依靠 这 样 将 4 b 隔离 开 来 的 计算 , 求解 前 面 的 一 批 方 程 仅 用 到 一 次 消 元 , 以 及 
对 每 一 个 新 的 b 再 进行 的 两 次 回 代 (Le =b, Uz = c). 因此 , 借助 LU 分 解 , 运算 
的 次 数 大 约 是 + kn? 当 n? 比 na 小 ( 即 当 n 比较 大 ) 时 , 这 个 差别 就 显示 出 
LU 分 解 的 意义 了 . 
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亮点 ”复杂 性 

对 高 斯 消去 法 应 用 LU 分 解 方 法 , 主要 是 由 于 广泛 存在 具有 Ar = 
bi, Az = bz,- 这 样 形式 的 问题 . 通常 , A 是 所 谓 的 结构 矩阵 , 它 仅 依赖 
于 一 个 力学 系统 或 动力 系统 的 设计 , b 则 对 应 于 一 个 “负载 向 量 "(loading 
vector). 在 结构 工程 学 中 , 负载 向 量 给 出 了 结构 上 不 同 点 处 的 作用 力 . 解 
s 则 对 应 于 由 负载 的 特定 组 合 所 诱导 出 的 结构 上 的 应 力 . 对 不 同 的 b 求 
出 的 Aa = b 的 解 将 被 用 于 测试 潜在 的 结构 设计 . 实例 检验 2 对 横梁 的 负 
载 进 行 了 这 种 分 析 . 


BEH k= 1 时 , 相 比 于 经 典 的 高 斯 消去 法 , 利用 4 = LU 分 解 的 方法 也 没有 
额外 的 计算 工作 量 . 尽管 LU 分 解法 好 像 有 经 典 的 高 斯 消去 法 中 所 没有 的 一 个 额 
外 的 回 代 , 其 实 这 只 是 替代 了 由 于 缺少 右 端 项 b 而 在 消 元 过 程 中 节省 下 来 的 那些 
计算 . 

如 果 一 开始 时 就 已 知 所 有 的 bi, 我 们 就 可 以 用 相同 的 运算 次 数 同时 求解 所 有 
的 大 个 问题 . 但 在 典型 的 应 用 问题 中 , 要 求 我 们 求解 的 是 一 些 Aw = b: 问题 而 其 他 
的 b: 尚未 知道 . 对 有 相同 系数 矩阵 A 的 现 有 的 与 将 有 的 问题 , LU 分 解 给 出 了 有 
效 的 处 理 方法 . 

例 2.8 ”假设 将 一 个 300 x 300 的 矩阵 分 解 成 4 = LU BE 1 秒 钟 , 则 在 下 
一 个 1 秒 钟 内 可 以 解 多 少 个 问题 hz = bi,… , Ax = bk? 

对 每 个 bi 执行 的 两 次 回 代 总 共 需 要 加 = n? 次 运算 . 所 以 可 以 处 理 的 bi 的 
近似 数目 为 

Ay = 3 = 100. < 
在 我 们 对 有 效 地 运用 高 斯 消去 法 的 探讨 中 , LU 分 解 将 是 一 个 有 意义 的 步骤 . 可 中 
WHE, 不 是 每 个 矩阵 都 有 这 样 的 分 解 . 


fil 2.9 证 明 A= | 
分 解 必须 有 形式 
o1]_f[1o0]foc]_[o ec 
11] |ai1]fl{o d| | ab ac+a{’ 
使 两 边 系 数 对 应 相等 得 到 5 = 0 及 ab = 1, 矛盾 . < 
并 非 所 有 的 矩阵 都 有 LU 分 解 , 这 一 事实 意味 着 在 我 们 得 到 一 个 利用 LU 分 


解 的 一 般 的 高 斯 消去 算法 之 前 , 尚 有 更 多 的 工作 要 做 . 2.3 节 将 描述 摆动 的 相关 问 
题 . 2.4 节 将 介绍 PA = LU 分 解 , 它 会 克服 这 两 个 问题 . 
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习题 2.2 


1. 


求 出 所 给 矩阵 的 LU 分解 , 并 用 和 矩阵 相 乘 检验 : 
12 1 3 3 -4 
wf Al w |) s| o[ 3 ‘|. 


. 求 出 所 给 矩阵 的 LU 分 解 , 并 用 矩阵 相 乘 检验 : 


w 
mane 


， 通 过 求 出 LU 分 解 求解 方程 组 , 执行 两 步 回 代 过 程 : 


sh Jelik a ea le 


,通过 求 出 LU 分 解 求解 方程 组 , 执行 两 步 回 代 过 程 : 


312 
6 3 4 
3 1 5 


0 
1 


Tı 


(a) ; (b) 


ll 


T2 


T3 


， 解 方程 hz =b, 其 中 


rou 
wee 


=l 
0 


ono 
-oo 
ooo 
coon 
oore 

[9 
rm mm oo 


4 0 


， 对 所 给 的 100 x 100 的 矩阵 A, 利用 A = LU 分 解 方法 , 你 的 计算 机 恰好 在 1 分 钟 内 可 


以 解 出 50 个 问题 Aa =b1,---, Ax = bso, 那么 计算 机 花 在 A = LU 分 解 上 的 时 间 是 
多 少 分 钟 ? 四 合 五 入 你 的 结果 到 最 近 的 秒 数 . 


.假设 你 的 计算 机 每 秒 钟 可 以 解 出 100 个 Uz = c 这 种 类 型 的 问题 , 其 中 U 是 一 个 50x 50 


REZAR. 估计 求解 一 个 满 的 500 x 500 的 矩阵 问题 Ax = b 需要 花 多 长 时 间 ， 以 
分 钟 数 和 种 数 回答 . 


， 假 设 你 的 计算 机 1 秒 钟 可 以 解 出 一 个 200 x 200 的 线性 方程 组 Az =b. 利用 LU 分 解 


方法 , 求解 4 个 有 相同 系数 矩阵 的 含 500 个 未 知 量 的 500 个 方程 的 方程 组 , 估计 需要 的 
时 间 (到 最 近 的 秒 )- 


, BAA nx n 矩阵 , 假设 你 的 计算 机 利用 LU 分 解 求 100 个 问题 Az = bi,… , Az = 


baoo 与 求解 第 一 个 问题 Az = bo 花费 同样 多 的 时 间 , 试 估计 n. 


计算 机 问题 2.2 


1. 


利用 2.1 节 里 的 高 斯 消 元 的 程序 片段 , 写 一 段 MATLAB 程序 : 把 矩阵 作为 输入 , LA U 
为 输出 . 不 允许 有 行 交换 : 程序 的 设计 要 使 得 碰 到 零 主 元 时 就 终止. 利用 分 解 习题 2 中 的 
和 矩阵 来 检验 你 的 程序 . 
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2. 在 计算 机 问题 1 中 , 为 你 的 程序 段 里 加 入 两 步 回 代 过 程 , 并 利用 它 求解 习题 4 的 方程 组 . 


2.3 ”误差 的 来 源 


正如 我 们 迄今 所 述 , 高 斯 消去 法 有 两 个 主要 的 误差 来 源 . 病态 性 (ill-condition- 
ing) 是 解 对 输入 数据 的 敏感 性 . 我 们 将 利用 第 1 章 的 后 向 误差 和 前 向 误差 的 概念 
来 讨论 条 件数 . 由 于 在 计算 病态 性 矩阵 方程 的 解 时 误差 几乎 是 不 可 避免 的 , 所 以 在 
可 能 的 时 候 识别 并 避免 病态 性 的 矩阵 是 重要 的 . 误差 的 第 二 个 来 源 是 摆动 , 这 在 绝 
大 多 数 问题 中 利用 一 个 叫做 部 分 主 元 的 简单 修正 方法 就 可 予以 避免 , 而 这 正 是 2.4 
节 的 主题 . 

接 下 来 将 介绍 向 量 和 和 矩阵 范 数 的 概念 , 它们 用 以 度量 误差 的 大 小 , 而 目前 用 的 
是 向 量 . 我 们 将 主要 介绍 所 谓 的 无 穷 大 范 数 . 
2.3.1 ”误差 放大 及 条 件数 


在 第 1 章 中 , 我 们 发 现 一 些 方程 求解 问题 的 后 向 误差 与 前 向 误差 有 很 大 的 差 
Fe, 对 线性 方程 组 而 言 也 是 如 此 . 为 量化 误差 的 大 小 , 我 们 先 给 出 向 量 的 无 穷 大 范 


数 的 定义 . 

定义 2.3 ME z = (z1,… ,zn) 的 无 穷 大 范 数 (infnity norm) 或 最 大 范 
数 (maximum norm) 是 lzll。 = max|zil,i = 1,2,… ,n.， 即 s 的 分 量 绝对 值 中 
的 最 大 值 . 


后 向 误差 与 前 向 误差 可 与 定义 1.8 类 似 地 予以 定义 . 后 向 误差 代表 输入 或 问题 
数据 方面 的 差 , 前 向 误差 代表 输出 或 算法 解 方面 的 差 . 

定义 2.4 Ha, 为 线性 方程 组 hz = b Hitt, NÆ (residual) 是 向 量 
r=b- Axe. 后 向 误差 是 残 差 范 数 |b 一 Azcllw, 前 向 误差 是 |z — zello. 

例 2.10 ” 求 出 方程 组 


1 1ıļfa]_f3 
3 -4]| a] |2 
的 近似 解 re = [1,1] 的 后 向 误差 与 前 向 误差 . 
正确 的 解 是 z = [2, 1]. 按 无 穷 大 范 数 , 后 向 误差 为 


BJE JEJL- 
BEIE] 


lb — Azcllw = a 


9| 


=1. < 


oo 


oo 


前 向 误差 为 


læ — zello = 


oo | 
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在 其 他 情形 下 , 后 向 误差 与 前 向 误差 会 有 不 同 的 数量 级 . 
例 2.11 求 出 方程 组 


Z1+ 72= 2, (2.18) 
1.000 1zı + z2 = 2.000 1 


近似 解 [—1, 3.000 1] 的 前 向 误差 与 后 向 误差. 
首先 , 求 出 精确 解 [zi, za]. 高 斯 消去 法 由 下 列 步 骤 组 成 ， 
1 1| 2 _, 第 2 行 减 去 [1 1 | 2 
1.0001 1| 2.0001 1.000 1x38 1 行 0 —0.0001| —0.000 1 


求解 相应 的 方程 组 
ZT1+ 22= 2, 
一 0.000 1z2 = —0.000 1, 


得 到 解 zi zz] = [1,1]. 
后 向 误差 是 向 量 


和 -al ia 
2.000 1 1.0001 1 3.000 1 
_f2 _ [ 2.0001] _ f -0.0001 
~ | 2.000 1 2 | 0.0001 
的 无 穷 大 范 数 , 为 0.000 1. 前 向 误差 是 差 


-nem [i] [ian J- -an 


的 无 穷 大 范 数 , A 2.000 1. 4 

图 2-2 表明 : 可 以 同时 有 一 个 小 的 后 向 误差 与 一 个 大 的 前 向 误差 . 尽管 “近似 
A” (—1,3.000 1) 离 精确 根 (1,1) 相对 较 远 , 但 它 几 乎 在 两 条 直线 上 . 由 于 这 两 条 直 
线 几 乎 平行 , 因此 这 是 可 能 的 . 如 果 这 两 条 直线 根本 不 平行 , 则 前 向 误差 与 后 向 误 


差 在 数量 上 将 会 很 接近 . 
记 残 差 为 "> = 了 一 Az, 则 方程 组 As = b 的 相对 后 向 误差 定义 为 
lirle 
llbllco* 
相对 前 向 误差 定义 为 
liz = zello 


lizlle 
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Az = b 的 误差 放大 因子 (error magnification factor) 是 两 者 的 比率 , 或 


相对 前 向 误差 e 


相对 后 向 误差 Hie i 


误差 放大 因子 = 


(2.19) 


图 2-2 2.11 的 几何 性 质 . 直线 z2=2-zi 与 zz 一 2.000 1-1.000 lz 
代表 方程 组 (2.18), 它们 交 于 (1,1) A. 点 (—1,3.000 1) 是 一 
ME, 它 几 乎 没有 落 在 两 条 直线 上 . 图 中 两 直线 间 的 差异 被 压 大 
了 一 一 实际 上 它们 非常 接近 


亮点 ”条件 作用 

条 件数 是 贯穿 数值 分 析 始 终 的 一 个 主题 . 在 第 1 章 的 关于 Wilkinson 
多 项 式 的 讨论 中 , 对 一 个 方程 f(z) = 0 所 给 的 小 的 扰动 , 我 们 看 到 了 如 何 
在 求 根 过 程 中 计算 误差 放大 因子 . 对 矩阵 方程 Az = b 而 言 , 有 类 似 的 误 
差 放 大 因子 , 其 最 大 可 能 的 因子 由 cond(4) = | AJAT] 给 出 . 


对 于 方程 组 (2.18), 相对 后 向 误差 为 


0.000 1 
2.000 1 


æ 0.000 05 = 0.005%, 


相对 前 向 误差 为 


= 2.000 1 = 200%, 


误差 放大 因子 为 2.000 1/(0.000 1/2.000 1) = 40 004.000 1. 

在 第 1 章 中 , 我 们 把 条 件数 定义 为 在 输入 误差 的 规定 范围 内 的 最 大 误差 放大 
R. “规定 范围 ” 依赖 于 上 下 文 . 现在 在 线性 方程 组 的 情形 下 , 我 们 将 更 精确 地 给 出 
定义 . 对 一 个 固定 的 矩阵 A, 考虑 对 不 同 的 向 量 b 求解 Az = b. 在 这 种 情况 下 , b 
是 输入 而 解 z 是 输出 . 输入 中 的 一 个 小 变化 就 是 5 的 一 个 小 变化 , 它 有 一 个 误差 放 
大 因子 . 因此 我 们 得 到 下 列 定义 . 


86 第 2 章 j 程 组 


定义 2.5 ”一 个 方 阵 A 的 条 件数 cond(4) 是 对 所 有 的 右 端 项 DRM AT =b 
的 最 大 可 能 误差 放大 因子 . 

令 人 惊讶 的 是 , 对 于 方 阵 的 条 件数 , 有 一 个 简洁 的 公式 . 类 似 于 向 量 的 范 数 , 定 
义 一 个 nx n 和 矩阵 A 的 矩阵 范 数 (matrix norm) 为 


||Alloo = 最 大 绝对 值 行 和 (2.20) 


即 对 每 一 行 把 它 的 元 素 的 绝对 值 全 部 加 起 来 , 将 这 n 个 数 的 最 大 值 指定 为 4 的 
范 数 . 
定理 2.6 nxn 给 阵 A 的 条 件数 是 


cond(A) = || All - | A7*|). 


定理 2.6 将 在 后 面 予以 证 明 , 使 用 它 可 以 计算 例 2.11 H RE ERR EK. 


根据 (2.20)， 
ro | 1 1 | 
1.0001 1 


的 范 数 是 ||4|| = 2.000 1, A 的 逆 是 


-1_ | -10000 10000 
10001 -10000 |’ 


其 范 数 || Al]! = 20 001, A 的 条 件数 为 
cond(A) = (2.000 1)(20 001) = 40 004.000 1. 


这 正 是 我 们 在 例 2.11 中 求 出 的 误差 放大 率 , 按 条 件数 的 定义 , 它 显然 取 到 了 最 坏 的 
情况 . 这 个 方程 组 对 任何 其 他 的 b 的 误差 放大 因子 都 小 于 或 等 于 40 004.000 1. 习 
题 3 要 求 计算 其 他 一 些 误差 放大 因子 . 

条 件数 的 有 效 数字 与 在 第 1 章 的 是 一 样 的 . 具有 数量 cond(A) 大 小 的 误差 放 
大 因子 是 可 能 的 . 在 浮 点 运算 中 , 不 要 期 望 相对 后 向 误差 比 smach 还 要 小 , 因为 b 
元 素 的 存储 就 已 经 导致 那么 大 的 误差 了 . 根据 (2.19), 在 求解 hz = b 时 可 能 会 产 
生 大 小 为 €macn-cond(A) 的 相对 前 向 误差 . 换 而 言 之 , 若 cond(A) ~ 10*, 那么 在 计 
算 z 时 , 我 们 将 损失 k 位 精度 . 

在 例 2.11 中 , cond(A) ~ 4 x 104, 故 按 双 精 度 , 我 们 将 会 得 到 16 — 4 = 12 位 正 
确 数字 的 解 z. 可 以 引入 MATLAB 最 好 的 有 多 种 用 途 的 线性 方程 组 求解 工具 来 验 
证 这 一 点 . 

MATLAB 中 的 反 斜 线 命令 xz=A\b 利 用 我 们 将 在 2.4 节 中 讨论 的 LU 分 解 的 一 个 
先进 的 格式 来 求解 线性 方程 组 . 现在 , 我 们 把 它 作为 在 浮 点 运算 中 我 们 可 以 得 到 的 
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最 好 可 能 的 算法 的 一 个 例子 . 下 面 的 MATLAB 命令 给 出 了 例 2.11 的 计算 机 解 re: 


>> A = [1 1;1.0001 1]; b=[2;2.0001]; 
>> xc = A\b 
xc = 
1.00000000000222 
0.99999999999778 


与 正确 的 解 = = [1,1] 相 比 , 计算 机 解 有 大 约 11 位 正确 数字 , 接近 于 由 条 件数 
推测 出 的 结果 . 


Hilbert 矩阵 H, 其 元 素 Hi; = 1/(i+ 5-1), 以 大 的 条 件数 而 著称 . 


例 2.12 W H X nxn 的 Hilbert 和 矩阵. 利用 Marian 的 反 斜 线 命令 计算 
Ha = b 的 解 ,其 中 b= H-[1,--- 17, n = 6 Ñ 10. 


右 端 项 5 的 选择 使 得 正确 解 为 n 个 分 量 皆 为 1 的 向 量 , 这 方便 于 检验 前 向 误 
22. MATLAB 求 出 条 件数 ( 按 无 穷 大 范 数 ) 并 计算 出 解 : 


>> n=6;H=hilb(n); 
>> cond(H, inf) 
ns = 

2.907027900294064e+007 

>> b=H*ones(n,1); 

>> xc=H\b 

xe 

99999999999923 

00000000002184 

99999999985267 

00000000038240 

99999999957855 

00000000016588 


条 件数 大 约 为 107, 按 最 坏 的 情况 推测 有 16-7 = 9 位 正确 数字 . 计算 出 的 解 中 确 
KAKA 9 位 正确 数字 . 现 按 n= 10 重复 计算 : 


>> n=10;H=hilb(n); 

>> cond(H, inf) 

ans = 
3.535371683074594e+013 

>> b=H*ones(n,1); 

>> xc=H\b 

xc 


rororo 


99999999875463 
00000010746631 
99999771299818 
00002077769598 
99990094548472 
.00027218303745 
.99955359665722 


oroprpopol 
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1.00043125589482 
0.99977366058043 
1.00004976229297 
由 于 条 件数 为 1013, 所 以 在 解 中 仅 有 16 — 13 = 3 位 正确 数字 . 

对 于 比 10 稍 大 的 n, Hilbert 矩阵 的 条 件数 要 比 1015 BX, P RETEN 
算出 的 解 中 有 正确 数字 . 

即使 是 出 色 的 软件 对 病态 问题 也 会 束手无策 . 增加 精度 会 好 点 . 在 扩展 的 精度 
TF, emach = 27% ~ 5.42 x 10-7, 我 们 以 20 而 不 是 16 位 数字 出 发 . 尽管 如 此 , 由 于 
Hilbert 矩阵 的 条 件数 随 n 的 增 大 而 迅速 地 增 大 , 以 至 于 最 后 任何 适当 的 有 限 精度 
都 将 消失 . 

幸运 的 是 , 像 Hilbert 矩阵 那么 大 的 条 件数 的 情形 是 不 多 见 的 . 对 m = 104 及 
更 大 的 含 n 个 未 知 量 的 n 个 方程 的 良 态 的 线性 系统 , 可 以 按 双 精度 常规 计算 . 不 
过 , 知道 病态 问题 的 存在 性 是 重要 的 , 同时 亦 应 了 解 条 件数 在 判断 其 存在 性 的 用 处 . 
参见 计算 机 问题 1~4 以 获得 更 多 关于 误差 放大 率 及 条 件数 的 例子 . 

本 节 所 用 到 的 无 穷 大 向 量 范 数 是 度量 向 量 长 度 的 一 种 简单 方法 , 它 是 向 量 范 
数 (vector norm) 的 一 个 例子 , 向 量 范 数 ||z|| 须 满足 下 列 3 条 性 质 : 

(i) llzll > 0, 当 且 仅 当 æ= [0,… ,0] 时 ||z|| = 0; 

(ii) 对 每 一 数量 a 及 向 量 x, axl] = la] zll; 

(iii) 对 向 量 w, y, |æ + yl] < llæll + llyll- 

另外 , || Allo 是 矩阵 范 数 的 一 个 例子 , 矩阵 范 数 要 满足 类 似 的 3 条 性 质 : 

(i) || Al] > 0, 当 且 仅 当 4 = 0 时 , || Al] = 0; 

(ii) 对 每 一 数量 a 及 矩阵 A, |x Al] = |al || All; 

(iii) 对 矩阵 A, B, || A + Bl| < 4 + |B|]. 

作为 不 同 的 例子 , 向 量 = = [xz1,… ,zn] 的 向 量 1- 范 数 是 leli = |zi| 十 … 十 
|En]. nx n 矩阵 A 的 矩阵 1- 范 数 是 || Al]: = 最 大 绝对 值 列 和 , 即 列 向 量 的 1- 范 数 
的 最 大 值 . 参见 习题 9 和 10 证 明 这 些 条 件 定义 了 范 数 . 

刚 讨论 过 的 误差 放大 因子 、 条 件数 和 抢 阵 范 数 可 对 任意 的 向 量 和 和 矩阵 范 数 进 
行 定 义 . 我 们 将 对 和 矩阵 范 数 的 讨论 限于 算 子 范 数 (operator norm), 即 根据 一 种 特殊 
的 向 量 范 数 定义 为 

|| All = m PT 
其 中 最 大 值 是 在 所 有 的 非 零 向 量 s 上 取 到 . 则 由 定义 , 矩阵 范 数 与 相应 的 向 量 范 数 
是 相 容 的 , 意 即 

lAzll < |All- lI] (2.21) 
对 任意 的 矩阵 A 及 向 量 = 成 立 . 习题 10 和 习题 11 证 明了 由 (2.20) 定义 的 范 数 
|Alloo 不 仅 是 一 矩阵 范 数 , 而 且 对 无 穷 向 量 范 数 也 是 算 子 范 数 . 
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这 个 事实 使 得 我 们 可 以 证 明 前 面 提 到 的 cond(A) 的 简单 表示 . 下 面 的 证 明 对 
无 穷 范 数 及 其 他 任意 的 算 子 范 数 都 成 立 . 
定理 2.6 的 证 明 ”利用 等 式 A(z- zc) =r 及 4z =b, 由 相 容 性 (2.21), 得 


læ- zell <14-3 irl 
1 1 
Tor > Taal 
两 个 不 等 式 置 于 一 起 得 到 
lz 一 zol _ |All 
Tel < lol 
这 表明 JANA 是 所 有 误差 放大 因子 的 一 个 上 界 .第 二 点 , 可 以 证 明 这 个 上 界 总 
是 能 取 到 的 ， 由 算 子 范 数 的 定义 知 , 可 以 选择 z 使 得 | 4|| = || 4zl/llzl| Ber 使 得 
[At = Ar l/|inl|. 设 ze= æ- 4-ir, 则 zze= Ante, ha 及 的 这 种 特 
殊 选 取 再 检验 下 面 的 等 式 即 可 证 明定 理 2.6: 
lz=zel _ Arl _ ATI All 


llzll lizll lAzll 


1A- lirl, 


2.3.2 ”摆动 

经 典 高 斯 消去 法 误差 的 第 二 个 重要 来 源 更 易于 确定 ， 我 们 用 下 面 的 例子 来 说 
明 摆 动 . 

例 2.13 考虑 方程 组 


10-20zl + zz= 1, 
zı 十 2z2= 4. 


我 们 将 3 次 求解 这 个 方程 组 : 一 次 用 完全 精度 , 第 二 次 根据 IEEE 双 精度 运算 模拟 
计算 机 进行 求解 , 还 有 一 次 是 我 们 首先 交换 方程 的 次 序 . 
1. 精确 解 ”高 斯 消 元 过 程 表 形 式 为 


10-29 1| 1 -BATRE 10-20 1 | 1 
? 1020x 第 1] 行 


1 2| 4 0 2-10-79| 4—10% 
底下 的 方程 为 
020z, = 4 — 1020 _ 4-10” 
(2— 10%°)z2 = 4 — 10 > 22 = 94000" 
上 面 的 方程 得 到 
y 4 一 1020 2 4 一 1020 一 2 x 1020 
10 Pay + m= 1 1 = 10 1-5) Zy = 2100 
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精确 解 为 
2 x 1070 4 一 1020 
kasa [i =2'2— | SN: 


2. IEEE 双 精 度 ”高 斯 消 元 过 程 的 计算 机 格式 稍微 有 些 不 同 : 
ba 1l z] 第 2 行 减 去 网。 1 | 1 


1 2| 4| 10x 8817 | o 2-100| 4—10% 


按 IEEE 双 精 度 , FARE, 2 - 107° 与 -1020 是 一 样 的 . 类 似 地 , 4 — 102 按 
一 1020 被 储存 . 现在 底下 的 方程 是 


一 1020zs = 一 1020 一 za = 1. 
上 面 方程 的 机 器 运算 格式 变 成 了 
10-20zl +1=1, 


所 以 z1 = 0, 计算 出 的 解 恰好 为 [zt za] = (0, 1]. 

与 精确 解 相 比 , 这 个 解 有 较 大 的 相对 误差 . 

3. IEEE 双 精 度 , 经 行 交换 。 经 过 交换 两 个 方程 的 次 序 后 , 我 们 重复 高 斯 消 
元 过 程 的 计算 机 格式 : 


1 2| 4 PITRE |1 2 | 4 
一 
10- 1| 1 10-20 x 第 1 行 0 1-2x10-2| 1-4 x 10-20 


4% IEEE 双 精 度 , 1 — 2 x 10-20 被 储存 为 1, 1—4 x 10-7 也 被 储存 为 1. 方程 组 现 
在 是 

zı + 272= 4, 

{ z2=1, 


这 导出 计算 解 z1 = 2 和 zs = 1. 当然 这 不 是 精确 答案 . 但 它 直到 大 约 16 位 数 还 是 
正确 的 , 这 正 是 我 们 使 用 52 位 浮 点 数 进行 计算 所 能 得 到 的 最 好 结果 . 

最 后 两 种 计算 之 间 的 差异 很 大 . 方法 3 给 出 了 一 个 可 接受 的 解 而 方法 2 没有 . 
方法 2 究竟 出 了 什么 样 的 差错 ? 进一步 的 分 析 引 导 我 们 把 目光 转向 在 消 元 步骤 中 
用 到 的 乘 子 10. 底下 的 方程 减 去 10° 乘 以 上 面 的 方程 的 效果 相当 于 去 掉 或 “ 淹 
没 ” 了 底下 的 方程 . 原先 有 两 个 独立 的 方程 或 信息 的 来 源 , 而 经 过 方法 2 中 的 消 元 
步骤 后 , 本 质 上 得 到 的 是 上 面 那个 方程 的 两 种 表示 . 由 于 底下 的 方程 已 经 消失 , 故 
对 于 任何 实用 的 目的 , 我 们 不 能 期 望 计算 解 能 满足 底下 的 方程 , 而 计算 解 确实 也 不 
满足 . 


23 误差 的 来 源 91 


另 一 方面 , 方法 3 完成 消 元 过 程 而 不 摆动 , AARTE 10. 经 过 消 元 后 , 原 


来 的 两 个 方程 仍然 线性 独立 地 存在 , 只 是 稍 作 改变 成 了 三 角形 . 其 结果 是 一 个 更 精 
确 的 近似 解 . < 


Pl 2.13 WAT, 高 斯 消 元 中 的 乘 子 须 尽 可 能 地 小 , 以 避免 摆动 . 幸好 对 原始 的 


高 斯 消去 法 有 一 种 简单 的 修正 方法 可 使 乘 子 的 绝对 值 不 超过 1. 这 个 在 表 形 式 中 包 
含有 审慎 的 行 交 换 的 新 方法 叫做 部 分 主 元 法 , 这 是 2.4 节 的 主题 . 


习题 2.3 


1. 


好 


名 


2 


求 出 下 列 每 一 个 矩阵 的 范 数 |4|l-: 


@ 4=|! ule (b) A= 


1 Sa 
-1 2 -3 | 7 

1 -7 0 
求 出 下 列 矩 阵 (无 穷 范 数 ) 的 条 件数 . 


een [i 22]. (ales 
O):A= 3 AF waf; 6 | oa=| 2 | 


.就 例 2.11 中 方程 组 的 下 列 近 似 角 ze( 按 无 穷 范 数 ), 求 出 前 向 误差 和 后 向 误差 以 及 误差 放 


KAT: 
(a) [1,3]; (b) (0,2; (©) [2,2]; (a) [-2,4]; (e) [-2,4.000 1). 


。 就 方程 组 ri + 2za = 1, 271 + 4.0122 = 2 的 下 列 近似 解 , 求 出 前 向 误差 和 后 向 误差 以 及 


误差 放大 因子 : 
(a) [-1,1]; (b) {3,—1]; (c) [2,—3]- 


， 就 方程 组 zi — 2z2 = 3, 3z1 一 4za = 7 的 下 列 近 似 解 , 求 出 相对 前 向 误差 和 后 向 误差 以 


及 误差 放大 因子 : 
(a) [-2,—4]; (b) [-2,-3]; (e) [0,~2]; (a) [-1,—1]; 
(e) 系统 矩阵 的 条 件数 是 什么 ? 


， 就 方程 组 zi + 2za = 3, 221 十 4.01z2 = 6.01 的 下 列 近 似 解 , 求 出 相对 前 向 误差 和 相对 后 


向 误差 以 及 误差 放大 因子 : 
(a) [-10,6]; (b) [-100, 52]; (c) [~600,301]; (d) [-599,301]; 
(e) 系数 矩阵 的 条 件数 是 什么 ? 
求 出 5x5 的 Hilbert 矩阵 的 范 数 Al 
1 1 Tı 2 
(a) 求 出 方程 组 inh i | [2 | = | Say | 的 系数 矩阵 的 条 件数 (作为 5 的 函 
数 ); (b) 求 出 近似 根 x. = [一 1, 3 + 6] 的 误差 放大 因子 . 
(a) 证 明 无 穷 范 数 |e 是 一 向 量 范 数 ; (b) 证 明 1- WH el 是 一 向 量 范 数 . 


，(a) 证 明 无 穷 范 数 |All 是 一 无 穷 范 数 ; (b) 证 明 1- WH || Al]. 是 一 矩阵 范 数 . 
. 证 明 矩 阵 无 穷 范 数 是 向 量 无 穷 范 数 的 算 子 范 数 . 


证 明 矩 阵 1- 范 数 是 向 量 1- 范 数 的 算 子 范 数 . 
对 习题 1 中 的 矩阵 , 求 出 满足 14ll- = ||Azl|oo/|lal|oo 的 一 个 向 量 zx. 
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14. 
15. 


对 习题 1 中 的 矩阵 , 求 出 满足 |All = ||4zili/llzl 的 一 个 向 量 =. 
求 出 

10 20 1 
1 199 6 
0 50 1 


的 LU 分 解 , 所 需要 的 最 大 的 数量 乘 子 Lj 是 什么 ? 


A= 


计算 机 问题 2.3 


1. 


bb 


ao, 


对 元 素 为 hij =5/(i+ 27-1) 的 nxn BR, He =([1,---,1]7 及 b= Ac. 用 计算 机 
问题 2.1.1 中 的 MATLAB 程序 或 MATLAB 的 反 斜 线 命令 , 计算 双 精 度 解 z。. 求 出 问题 
Az = b 的 前 向 误差 和 误差 放大 因子 的 无 穷 范 数 , 并 与 A 的 条 件数 进行 比较 . (a) n = 6; 
(b) n = 10. 


对 元 素 Ay = 1/(li 一 让 十 1) 的 矩阵 , 执行 计算 机 问题 2.1.1. 


设 4 是 元 素 为 Ay = |i- jl+1 的 nxn EE, ZX z =[1,---,1]7 Rb = Az. X} 
n = 100, 200, 300, 400, 500, 用 计算 机 问题 2.1.1 中 的 MATLAB 程序 或 MATLAB 的 反 斜 
线 命令 ,计算 双 精度 解 z。。 对 每 个 解 算 出 前 向 误差 的 无 穷 范 数 . 求 出 问题 hz = b 的 5 
个 误差 放大 因子 , 并 与 相应 的 条 件数 进行 比较 . 


。 对 元 素 为 Ay = V(i 一 了 站 ?十 n/10 的 矩阵 , 执行 计算 机 问题 3 的 步骤 . 
， 对 多 大 的 n, 计算 机 问题 1 中 的 解 没 有 正确 的 有 效 数字 ? 


6. 用 计算 机 问题 2.1.1 中 的 MATLAB 程序 , 按 双 精度 执行 并 完成 例 2.13 中 方法 2 与 方法 


3, 并 与 正文 中 求 出 的 理论 结果 进行 比较 . 


2.4 PA=LU 分 解 
迄今 考虑 的 高 斯 消去 法 的 形式 经 常 被 称 为 是 “原始 ”的 , 这 是 由 于 有 两 个 须 认 


真 对 待 的 困难 : 碰 到 一 个 零 主 元 及 出 现 摆动 问题 . 对 一 非 奇 异 矩 阵 而 言 , 这 两 者 皆 
可 由 一 改进 的 算法 而 避免 . 这 种 改进 的 关键 是 一 种 对 系数 矩阵 作 行 交 换 的 有 效 技 
AR, 叫做 部 分 选 主 元 (法 )， 


2.4.1 ”部 分 选 主 元 


在 对 含 n 个 未 知 量 的 n 个 方程 运用 经 典 的 高 斯 消去 法 的 一 开始 , 第 一 步 是 用 


HAT an 作为 主 元 消去 第 一 列 . 部 分 选 主 元 (partial pivoting) 方法 在 执行 每 一 步 
消 元 步骤 之 前 要 比较 数 的 大 小 , 确定 第 一 列 中 最 大 元 素 所 在 的 位 置 , 并 将 其 所 在 的 
行 交换 到 主 元 行 (这 里 即 是 第 一 行 ). 


换言之 , 在 高 斯 消去 法 的 开始 , 部 分 主 元 法 要 求 我 们 选择 第 p 行 , 其 中 


lapı| > lanl (2.22) 
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(对 所 有 的 1 < i <n), 并 交换 第 1 行 和 第 p 行 . 接着 , 像 通常 做 的 , 用 新 的 an 作 
为 主 元 进行 第 1 列 的 消 元 过 程 . 用 于 消去 an 的 乘 子 将 是 


ma 
an 


ma = 


[mal <1. 


在 算法 进程 中 , 每 次 主 元 的 选择 都 要 作 同样 的 检验 ， 当 决定 第 二 次 选 主 元 时 ， 
我 们 从 当前 的 oz 开始 并 检查 它 下 面 的 所 有 元 素 , 我 们 选择 第 p 行使 得 


lap2| > Jaia 


(对 所 有 的 2 < i < n), H pA 2, 则 交换 第 2 行 与 第 p 行 . 这 一 步骤 中 不 再 涉及 第 1 
行 . 车 |azz| 已 是 最 大 元 素 , 则 不 必 进 行 行 交 换 . 

在 消 元 过 程 中 , 这 种 技术 应 用 于 每 一 列 . EWER k 列 之 前 , 对 k<p<m 的 
P, 确定 最 大 的 lape) 所 在 的 位 置 , 如 果 需 要 , 在 继续 消 元 之 前 交换 第 p 行 和 第 k 行 . 
注意 到 使 用 部 分 主 元 法 保证 了 所 有 的 乘 子 或 工 的 元 素 在 绝对 值 的 意义 下 都 将 不 大 
于 1. 借助 于 实现 高 斯 消 元 的 这 种 小 小 的 改变 , 将 完全 避免 例 2.13 中 说 明 的 摆动 
问题 . 

例 2.14 ”应 用 带 有 部 分 选 主 元 的 高 斯 消去 法 求解 方程 组 (2.1). 

方程 组 可 写成 表 形式 为 

i E E) 
| 3 -4| 2 | f 


根据 部 分 选 主 元 法 , 我 们 比较 janl = 1 与 它 下 面 所 有 元 素 的 大 小 , 而 在 该 例 中 仅 有 
一 个 元 素 an = 3. A an| > lanl, 我 们 必须 交换 第 1 行 和 第 2 行 . 新 的 表 为 


3 -4| 2 BATRE 3 -4| 2 
0 SE 


1 1| 3 7G x 第 ] 行 “ 
经 回 代 , 解 为 zz = 1 以 及 z1 = 2， cae 在 我 们 第 一 次 求解 这 个 方 
程 组 时 , 乘 子 为 3, 而 在 部 分 选 主 元 下 , 这 将 不 再 出 现 . < 


例 2.15 ”应 用 带 有 部 分 选 主 元 的 高 斯 消去 法 求解 方程 组 


Tı — T2 + 323 = —3, 
—Z1— 373= 1, 
271 + 2x2 + 473= 0. 


本 例 写 成 表 形式 为 
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1-1 3| -3 
sin WO "2 
2 2 4| 0 


由 部 分 主 元 法 , 我 们 比较 janl = 1 与 jan] = 1 及 |as1| = 2, 选择 as, 为 新 的 主 元 ， 
这 通过 第 1 行 和 第 3 行 的 交换 而 实现 : 


for Joss 2 2 4| 0 
-1 0 -2| 1 | 一 交换 第 1 行 和 第 3 行 一 | -1 0 -2| 1 
2 2 4| 0 1 -1 3| -3 
a 2 24| 0 2 24| 0 
第 2 行 减 去 第 3 行 减 去 
一 (4)x 第 1 行 一 1 0| 1| 一 3x 第 1 行 了 |0 10| 1 
1 -1 3| -3 0 -2 1| -3 
在 消去 第 2 列 之 前 , 我 们 必须 比较 当前 的 |az2| $ laaz), 由 于 后 者 较 大 , 我 们 又 一 次 
交换 行 : 
2 2 | ERL) = 2 2 4/ #O 
f 1 0| 1 SIRRI, 0 -2 1| -3 
0 -2 1| -3 0. 20] “2 
E 2 24| 0 
3 行 减 
> AGN = 0 -2 1| -3 
0 31 -3 


注意 到 所 有 3 个 乘 子 的 绝对 值 都 小 于 1. 
方程 组 现在 易于 求解 了 . 由 


za= -和 
一 2zz + £3 = 一 3， 
22, + 272 + 473 = 0, 
我 们 解 出 z = (1,1, —1]. 
注意 到 部 分 主 元 法 也 解决 了 零 主 元 的 问题 . 当 磁 到 零 主 元 时 , 例如 , 若 ul = 0， 


则 立即 与 它 所 在 列 的 某 处 的 非 零 主 元 进行 行 交 换 . 若 在 对 角 线 处 或 其 下 方 没有 这 样 
的 非 零 元 素 , 则 该 矩阵 是 奇异 的 , 高 斯 消去 法 将 不 会 给 出 一 个 解 . 


2.4.2 ”置换 矩阵 


在 说 明 行 交换 如 何在 用 于 高 斯 消去 法 的 LU 分 解 方法 之 前 , 我 们 将 讨论 置换 
矩阵 的 基本 性 质 . 
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定义 2.7 ”一 个 置换 矩阵 (permutation matrix) 是 除了 在 每 一 行 每 一 列 只 有 一 
个 1 外 其 余 全 为 0 的 nxn HER. 
等 价 地 , 一 个 置换 矩阵 P 可 由 对 nx n 的 单位 矩阵 施 以 任意 的 行 交换 (或 任意 
的 列 交换 ) 而 生成 . 例如 ， 
1 0 01 
ot} [a] 


是 仅 有 的 2 x 2 的 置换 矩阵 , 而 


100 
Ot 70 
001 


010 
0 0 1 
100 
是 6 个 3x 3 的 置换 矩阵 . 
下 一 个 定理 告诉 我 们 , 在 一 个 矩阵 的 左边 乘 上 一 个 置换 矩阵 的 作用 是 什么 . 
定理 2.8 ”置换 矩阵 的 基本 定理 RP 是 由 对 单位 矩阵 作 一 系列 特定 的 行 交 
换 而 形成 的 nxn 的 置换 矩阵 , 则 对 任意 的 nxn EE A, PA 表示 把 完全 相同 的 
一 系列 行 交换 作用 于 A 而 得 到 的 矩阵 . 
例如 , 置换 矩阵 


10 
0 0 
01 


oro 


是 单位 矩阵 经 交换 2, 3 两 行 后 形成 的 . 在 任 一 矩阵 的 左边 乘 上 P 相当 于 交换 2, 3 


a 


9 
d 


ore 
« 


10 
0 0 
0,1 


oro 


6 
f 
i 


a b 
d e 
g h 
PREM: 


记 住 定 理 2.8 的 一 种 好 方法 是 想象 
1 


0 
0 


o 
o 


[= 


1 0 0 0 
0 0 1 0 
0 1 0 1 0 


= 


看 待 这 个 等 式 有 两 种 不 同 的 方法 : 首先 , 看 作 乘 以 单位 矩阵 (故我 们 在 右边 得 到 置 
换 矩 阵 ); 其 次 , 看 作 是 作用 在 单位 矩阵 的 行 上 面 的 置换 矩阵 .定理 2.8 的 内 容 是 : 
乘 以 书 所 引起 的 行 交 换 恰 好 就 是 形成 P 时 所 进行 的 那些 行 交换 . 
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2.4.3 PA= LU 分 解 

本 节 把 对 高 斯 消去 法 所 知 的 一 切 融合 起 来 得 到 PA = LU 分 解 , 这 是 部 分 主 
元 消去 法 的 矩阵 公式 . PA = LU 分 解 是 求解 线性 方程 组 的 重要 方法 . 

顾名思义 , PA = LU 分 解 就 是 4 的 行 交换 方法 的 LU 分 解 . 在 用 部 分 主 元 
方法 时 , 一 开始 我 们 并 不 知道 需要 交换 的 行 , 所 以 必须 很 细心 地 使 行 交换 的 信息 与 
分 解 保持 一 致 . 特别 地 , 当 进 行 一 次 行 交换 时 , 我 们 需要 记 下 前 面 的 乘 子 . 我 们 从 一 
个 例子 开始 . 

例 2.16 求 出 矩阵 


的 PA = LU 分 解 . 
首先 , 1, 2 两 行 需要 交换 , 根据 部 分 主 元 法 : 


010 4 4 -4 
P=/1 0 0], 一 交换 第 1 行 和 第 2 行 一 |2 1 5]. 
0 0 1 13 1 


我 们 将 用 置换 矩阵 P 记录 这 样 下 去 已 经 累计 进行 的 行 交 换 . 下 面 演示 两 次 行 运 
算 , 即 


4 4 一 4 
RIRE |) -1 7 


4 4 
第 2 行 减 去 
ame tener Oe 7 | 一 3x 第 1 行 
1 3 1 2 2 


以 消去 第 1 列 ， 我 们 已 经 有 了 一 些 新 的 做 法 -并 不 是 仅仅 把 零 放 在 消去 的 位 置 
上 , 而 是 把 零 作为 一 个 存储 地 点 . 在 (i,j) 位 置 的 零 里 面 我 们 存储 了 用 于 消 元 的 科 
F my. 我 们 这 样 做 是 有 理由 的 . 通过 这 种 方法 可 以 将 乘 子 置 于 它们 所 在 的 行 ,以 
进行 未 来 的 行 交换 . 
接着 我 们 必须 作 一 比较 以 选 出 第 二 个 主 元 . 由 于 lasl = 1 < 2 = [asah 在 消去 
第 二 列 前 需 进 行 一 次 行 交换 . 
注意 到 前 面 的 乘 子 随 着 行 交换 而 移动 ， 
4 4 -4 
一 交换 第 2 行 和 第 3 行 | 和) 2 2 
©- 7 


P= 


oro 


0 1 
0 0 
10 


24 PA=LU 分 解 97 


4 
一 第 3 行 减 去 (3 x 第 2 行 一 中 


这 就 完成 了 消 元 . 现在 可 很 快 给 出 PA = LU 分 解 


010 Bly -5 1 00 4 4 -4 
ool 4 4 -4 % 10 i 
=|‘ 3 (2.23) 
100 1, 18% 1 3-21 00 8 
A L 


L 上 的 元 素 置 于 矩阵 的 下 三 角 部 分 的 零 里 面 (在 主 对 角 线 下 ), 而 U 来 自 上 三 角 . 
最 终 (累积 ) 的 置换 矩阵 记 作 P. 4 

利用 PA = LU 分 解 求解 方程 组 hz =b 只 是 A = LU 方法 的 一 个 微小 的 变 
形 . 对 方程 hz =b ER P, 然后 如 前 进行 : 


PAz= Pb, 


(2.24) 
LUz = Pb, 


解 (1) Le = Pb 得 到 c; (2) Uz = c 得 到 z. (2.25) 
正如 以 前 提 及 的 , 重要 的 是 计算 中 花费 最 多 的 部 分 一 一 决定 PA = LU 可 以 

在 不 知道 b 的 情况 下 完成 ， 由 于 结果 得 到 的 是 已 4( 即 方程 组 系数 矩阵 的 行 置换 ) 

的 LU 分 解 , 所 以 在 进行 回 代 过 程 之 前 , 对 右 端 向 量 b 按 完全 相同 的 方式 进行 置换 

是 必要 的 , 这 可 在 回 代步 又 的 第 一 步 利用 Pb 来 实现 . 高 斯 消去 法 的 矩阵 公式 的 价 

值 是 显然 的 : 消 元 和 选 主 元 过 程 中 所 需要 记录 下 的 细节 均 自动 包含 在 矩阵 方程 中 . 
例 2.17 利用 PA= LU 分 解 求解 方程 组 hz = b, 其 中 


由 (2.23) 可 知 PA = LU 分 解 . 还 需要 完成 两 次 回 代 . 
(1) Le = Pb: 


nea = 
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从 上 面 的 方程 开始 , 我 们 有 


c =0, 

4(0)+c2 =6= c2 =6, 

4(0) — $(6) + c3 = 5> cs = 8. 
2) Uz = c: 
4 4 一 4 zı 0 
0 2 2 z|=|6|. 
0 0 8 T3 8 
从 底下 的 方程 开始 ， 


823= 8 > 23 = 1, 
2r2 + 2(1)= 6 > 2 =2, (2.26) 
4z, + 4(2) — 4(1)=0 > zl =-1. 

因此 , 解 为 = = [一 1, 2, 1]. a 
例 2.18 ”利用 带 有 部 分 选 主 元 的 PA = LU 分 解 求解 方程 组 2z1 + 322 = 


4, 371 十 2za = 1. 
按 和 矩阵 形式 , 这 是 方程 


23 a |_| 4 

3 2]| a} if 
开始 时 我 们 先 不 管 右 端 项 b， 根 据 部 分 选 主 元 法 ,1, 2 两 行 必 须 进行 交换 (因为 
an > an). 消 元 步骤 为 


P=|， ‘|: a-f; ;| -zm 3 | 


因此 , PA = LU 分 解 为 


ED 


P A L U 
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第 一 次 回 代 Lc = Pb 为 


从 上 面 开始 , 我 们 有 


从 下 面 开始 , 我 们 有 
(2.27) 
3zl + 2(2) = 1> zl = 一 1. 
因此 , 解 为 z = [一 1 2]. 
每 个 n xn 矩阵 都 有 PA = LU 分 解 . 由 部 分 选 主 元 规则 可 知 ， BAUNEN 
AS, 这 意味 着 所 需要 消去 的 元 素 都 已 为 零 , 则 该 列 就 已 处 理 完毕 . 
ESAERA EORR HERAT UE MATLAB 中 实现 . 我 们 已 讨论 过 的 高 斯 消 
去 法 的 最 复杂 的 形式 是 PA = LU 分 解 . MATLAB 的 lu 命令 接受 一 个 方形 系数 矩阵 
A 并 输出 P,L RU. FER MATLAB 程序 段 定义 了 例 2.16 的 矩阵 , 并 计算 了 它 的 
分 解 . 


>> A=[2 15; 4 4 -4; 13 1); 
>> [L,U,P]=lu(A) 


L= 
1.0000 0 0 


0.2500 1.0000 0 
0.5000 -0.5000 1.0000 


4 4 -4 

0 2 2 

0 0 8 
P= 

0 1 0 
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习题 2.4 


1. 


求 出 下 列 和 矩阵 的 PA = LU 分 解 (利用 部 分 主 元 法 ): 


13 2 4 1 5 0 1 
olh opi of ih ofi] 


. 求 出 下 列 矩阵 的 PA = LU 分 解 (利用 部 分 主 元 法 ): 


Pye 0) 
(a) | 2 1 -1|; (b) 


0 13 
2 1143 


2 
(c) 2-4 2 
0 


。 由 求 出 的 PA = LU 分 解 , 求解 方程 组 并 执行 两 步 回 代 过 程 : 


r 3 1 2]fa 0 
3 7)[m 1 
四 allja © AA :| -| 外 
3 1 5J}Las 3 


， 由 求 出 的 PA = LU 分 解 , 求解 方程 组 并 执行 两 步 回 代 过 程 : 


420][z 2 -1 0 1]fz -3 
(a) j4 4 2} )al=|4]; WI 211||z |=| 1 
22 3} [as 6 -1 2 o}las 3 


， 写 下 一 个 x 5 的 矩阵 P, 使 其 左 乘 另 一 矩阵 的 作用 为 进行 2, 5 两 行 的 交换 . 


6. (a) 写 下 一 个 4 x 4 的 矩阵 P, 使 其 左 乘 一 个 矩阵 的 作用 为 那个 矩阵 的 第 2 行 与 第 4 行 


10. 


进行 交换 ; (b) 用 P 进行 右 乘 的 效果 是 什么 ? 举例 说 明 . 


.改变 最 左边 矩阵 的 4 个 元 素 , 使 矩阵 方程 正确 : 


0000 AE 5678 
o0000||3456| |3456 
0000 5678| |7890 
o0o0o0o0{l7 880 1 2ga 


. 求 出 习题 2.3.15 中 和 矩阵 A 的 PA = LU 分 解 , 所 需 的 最 大 乘 子 lu 是 什么 ? 


1 0 0 1 


. (a) 求 出 4=| 1 1 0 1 | 的 PA=LU 分 解 ;(b) 设 4 为 形 如 (e) 中 形式 


Er =t yo | 


Kin x n 矩阵 , 描述 其 PA = LU 分 解 中 每 个 矩阵 的 元 素 . 

(a) 假设 A 为 一 个 n x n KE, 其 元 素 |aij| < 1, HF 1 <i j <n EWR PA = LU 
分 解 中 的 矩阵 U 满足 Jul < 2°71, 对 所 有 的 1 < ij <n. 参见 习题 9(b). (b) 对 任 一 
nxn 矩阵 A 用 公式 表示 并 证 明 一 个 类 似 的 结论 . 


25 迭代 方法 101 


25 BRAK 


高 斯 消去 法 是 一 个 O(n3) 的 浮 点 运算 的 有 限 序列 ， 并 最 终 给 出 一 个 解 . 因此 ， 
高 斯 消去 法 叫做 求解 线性 方程 组 的 直接 方法 . 理论 上 直接 方法 在 有 限 步 之 内 给 出 
精确 解 (当然 , 当 在 一 有 限 精 度 的 计算 机 上 执行 时 , 得 到 的 结果 将 只 是 近似 的 . 这 正 
如 我 们 前 面 已 见 , 精度 的 损失 由 条 件数 度量 ). 直接 方法 与 第 1 章 所 描述 的 形式 上 
为 迭代 的 求 根 方法 形成 了 对 照 . 

所 谓 的 迭代 方法 也 可 用 于 求解 线性 方程 组 . 类 似 于 不 动 点 迭代 , 迭代 方法 从 某 
一 初始 估计 出 发 , 每 一 步 对 其 进行 改善 直至 收敛 到 解 向 量 . 


2.5.1 Jacobi 方法 


Jacobi 方法 是 求解 方程 组 的 不 动 点 迭代 的 一 种 形式 .不 动 点 欠 代 (FPI) 的 第 
一 步 是 改写 方程 组 , 求解 未 知 量 . Jacobi 方法 的 第 一 步 按 下 列 标准 方式 进行 : 求解 
第 i 个 方程 以 得 到 第 i 个 未 知 量 ; 然后 如 不 动 点 迭代 一 样 , 从 某 一 初始 估计 开始 进 
ITAR. 

例 2.19 ”应 用 Jacobi 方法 解 方程 组 3u +v =5,u+2w=5 

通过 求解 第 一 个 方程 得 到 w 求解 第 二 个 方程 得 到 v. 使 用 初始 估计 (uo, v0) = 


(0,0), RATA 
un (2.28) 
v=. i 
迭代 两 个 方程 : 
uo |_| 0 
vo ~ Lae 
WE 
oJ Lael Lae] Lae (2.29) 
wl Lee] ela 
ug a 40 
[S}-[=]-[ 3] 
继续 Jacobi 迭代 过 程 表明 它 收 敛 到 解 [1,2]. 4 
现在 假设 方程 组 按 相反 的 次 序 给 出 . 


例 2.20 ”应 用 Jacobi 方法 解 方程 组 w+ 2u =5,3u +v =5. 
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解 第 一 个 方程 得 到 第 一 个 变量 u, 解 第 二 个 方程 得 到 v. 我 们 从 


u=5-— 2v, (2.30) 
v=5- 3u 


开始 , WHERE, 但 结果 却 大 不 相同 : 


(2.31) 
_[ 5-2 ]_ | -5 
| | 
us] 「5-2(-10) ] _ [ 25 
vs | | 5-3(-5) | | 20 上 
在 这 种 情况 下 Jacobi 方法 失败 了 , 因为 迭代 发 散 了 . < 
由 于 Jacobi 方法 并 不 总 能 成 功 , 所 以 有 必要 了 解 在 什么 条 件 下 它 能 成 功 ， 其 


中 一 个 重要 的 条 件 由 下 列 定义 给 出 : 
定义 2.9 ”车 对 每 个 1 和 is 和 mail > E lail, 则 称 nxn EE A= (aij) 是 
I#i 


严格 对 角 占 优 的 . 也 就 是 说 , 每 个 主 对 角 元 在 绝对 值 上 要 比 所 在 行 的 其 他 所 有 元 素 
的 绝对 值 和 更 大 . 
定理 2.10 Bnxn ee A 是 严格 对 角 占 优 的 , 则 (1) A 为 非 奇异 矩阵 ; (2) 
对 每 个 向 量 b 及 每 个 初始 估计 , 应 用 于 Ax = b 上 的 Jacobi 方法 收 化 到 (唯一 的 ) 
解 . 
定理 2.10 说 明 , 若 A 是 严格 对 角 占 优 的 , 则 应 用 于 方程 组 hz = 5b 上 的 Jacobi 
方法 对 每 个 初始 估计 均 收敛 到 一 个 解 . 这 个 事实 的 证 明 在 2.5.3 节 给 出 . 在 例 2.19 
中 , 系数 矩阵 首先 是 
re | g4? |: 
i 3 


因为 3 > 1,2 > 1, 故 它 是 严格 对 角 占 优 的 . 在 这 种 情况 下 , 收敛 性 得 到 了 保证 . A 
一 方面 , 在 例 2.20 中 , 将 Jacobi 方法 用 于 和 矩阵 


aci ?], 
3 1 
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这 个 矩阵 不 是 对 角 占 优 的 , 不 存在 这 样 (收敛 性 ) 的 保证 . 注意 到 严格 对 角 占 优 只 
是 一 个 充分 条 件 , 当 没 有 这 个 条 件 时 , Jacobi 方法 仍 可 收敛 . 


例 2.21 ”确定 矩阵 
3 1 -1 3 2 6 
A=|2 -5 2|，B=|18 1 
1 6 8 9 2 -2 
是 否 严格 对 角 占 优 . 


矩阵 A 是 严格 对 角 占 优 的 , 因为 |3| > [1]+|—1],|—5] > |2|+|2|, |8| > 111+16]. B 
不 是 的 , AA, 例如 说 |3| > |2| + |6| 是 不 对 的 . 可 是 , 如 果 交 换 B 的 第 一 行 和 第 三 
行 , 则 B 就 是 对 角 占 优 的 , 且 可 保证 Jacobi 方法 收敛 . < 
Jacobi 方法 是 不 动 点 迭代 的 一 种 形式 . 设 DD 表示 4 的 主 对 角 部 分 , L 表示 A 
的 下 三 角 部 分 ( 主 对 角 线 下 方 的 元 素 ), U 表示 上 三 角 部 分 ( 主 对 角 线 上 方 的 部 分 )， 
NA=L+D+U, 要 解 的 方程 为 Lz + Dz + Uz =b. 注意 这 里 工 与 U 的 用 
法 与 LU 分 解 中 的 用 法 是 不 同 的 , 因为 这 里 工 与 U 的 对 角 线 元 素 都 为 零 . 方程 组 
Ax = b KERMA BERNER: 
Azr=b, 
(D+L+U)x=b, 
Dz=b-—(L+U)z, 
x= D"'(b—(L+U)a). 


由 于 D 是 对 角 矩 阵 , 故 其 逆 为 由 4 的 对 角 元 的 倒数 所 成 的 矩阵 . Jacobi 方法 
只 是 (2.32) 的 不 动 点 迭代 . 


Jacobi 方法 


(2.32) 


zo = 初始 向 量 , 
zkH =D "(b-(L+U)ax), k=0,1,2,--+. 


EE-E 


WH zk = | | AU ARBD AAR (2.33) 为 
ke 


KE JEDE] 


(2.33) 


对 于 例 2.19, 


Uk+1 一 1 z 0 
=D~"*(b—(L+U)ax)= 1 
Uk+1 03 


这 与 我 们 原先 的 格式 是 一 致 的 . 
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2.5.2 Gauss-Seidel 方法 和 SOR 
与 Jacobi 方法 密切 相关 的 一 种 迭代 叫做 Gauss-Seidel 方法 . Gauss-Seidel 方法 


与 Jacobi 方法 之 间 仅 有 的 差别 是 , 前 者 在 每 一 步 用 到 最 新 校正 过 的 未 知 量 的 值 , 即 
便 是 校正 发 生 在 当前 步 . 回 到 例 2.19, 我 们 看 到 Gauss-Seidel 方法 像 这 样 : 


区 
E 
f 


3 


uo 
v 


0 
1 
1 
2 
3 


J 


-学 | 学 上 
=| su |7| 5-109 | =] 35 |? 


2 2 


8 
| (2.34) 
we LAist 215 A 


注意 Gauu-Seidel 与 Jacobi 之 间 的 差别 : v 的 定义 用 到 u 而 不 是 uo. 我 们 看 到 


了 用 Jacobi 方法 得 到 解 


1,2) 的 方法 , 但 这 儿 相 同 的 步 数 会 有 稍微 更 高 的 精度 . 若 


Gauss-Seidel 方法 是 收敛 的 , 它 经 常 比 Jacobi 收敛 得 更 快 . 定理 2.11 EH, RER 
数 矩 阵 是 严格 对 角 占 优 的 , Gauss-Seidel 方法 将 和 Jacobi 一 样 收敛 到 解 . 

Gauss-Seidel 可 以 写成 矩阵 形式 , 并 被 认为 是 一 种 不 动 点 迭代 , 其 中 我 们 分 离 
H (L+D+U)s = 为 


(L + D)apy1 = -UT +b. 


注意 到 在 用 到 刚刚 新 确定 的 元 素 zk+1 的 同时 , 也 置 4 的 下 三 角 部 分 于 左 端 了 . E 
新 安排 方程 给 出 了 Gauss-Seidel 方法 . 


Gauss-Seidel 方法 


zo = 初始 向 量 ， 
wep = D`! (b -Usp — Lery), k=0,1,2,:+:. 


例 2.22 ”应 用 Gauss-Seidel 方法 , 求解 方程 组 


Gauss-Seidel 迭代 为 


| 


3 1 -1 u 4 
时 v |=| ij: 
io Wn e w 1 
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4— vk + Wr 1 — 2uk+1 — Wk 1+ uktl 一 2vk+1 
Uk+i = —3- ° Vk+1 = car ae | Wk+1 = Ce fe 


从 zo = [uo, vo, wo] = [0,0,0] 开始 , 我 们 计算 


5 30 
uz oy 1.683 3 
ve | =| -4 | © | -0.7500 
we 器 0.836 7 


方程 组 是 严格 对 角 占 优 的 , 因此 和 迭代 将 收敛 到 解 [2, —1, 1]. < 

称 为 逐次 超 松弛 (Successive Over-Relaxation, SOR) 的 方法 采取 Gauss-Seidel 
趋向 于 解 的 方向 并 试图 加 速 收敛 . 设 是 一 实数 , 定义 新 估计 量 =k+l 的 每 个 分 量 
为 w RE Gauss-Seidel ARG 1 - w 乘 上 当前 估计 量 zk 的 加 权 平 均 . Be w 叫做 
松弛 参数 (relaxation parameter), w > 1 时 被 认为 是 超 松弛 的 (over-relaxation). 

例 2.23 Ww = 1.25, 应 用 SOR 求解 例 2.22 的 方程 组 . 

由 逐次 超 松 邓 法 得 到 


4 一 vk 十 
Uk+1 = (1 — w)uk tu, 


1-2 — w; 
Veri = (1 vk Hw EEL TE, 


l+u — 2v; 
weer = (1 — w)wp +w H Met, 


从 uo, vo, wo] = [0,0,0] 开始 , 我 们 计算 得 到 


u 1.666 7 uz 1.983 5 
vı | œ= | -0.7292 |, vg | œ= | —1.067 2 |. 
w 1.031 2 w2 1.021 6 


在 本 例 中 , SOR 迭代 比 Jacobi 和 Gauss-Seidel 更 快 地 收敛 到 解 [2, -1, 1]. < 
正如 Jacobi 和 Gauss-Seidel 一 样 , SOR 的 另 一 推导 来 自 把 方程 组 当 作 一 不 动 
点 问题 . 问题 Ar = b 可 写成 (L 十 D+U)z =b, H w 相 乘 并 重 排 , 


(wL +wD +wU)z=wb, 
(wL + D)z =wb-— wUz + (1 — w)Dz, 
z=(wL+D)- (1 —- w)Dz — wUz] +w(D+wL)~1b. 
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逐次 超 松弛 (SOR) 


zo = 初始 向 量 ， 
Zk+ = (WL + D) HL —w) Pay — w(ax)] + wD+wL) 1b, k=0,1,2,.... 


w = 1 时 的 SOR 恰好 是 Gauss-Seidel. 在 叫做 逐次 低 松 弛 (Successive Under- 
Relaxation) 的 方法 中 可 允许 参数 w 小 于 1. 

例 2.24 ”对 含 6 个 未 知 量 的 6 个 方程 的 方程 组 , 比较 Jacobi, Gauss-Seidel 和 
SOR: 


3-1 0 0 0 3] ]u $ 
-1 3-1 0 į 0 uz 3 
0-1 3-1 0 O}f us} _] 1 (2.35) 
0 0 -1 3 -1 Of | uw 1 
0 4 0-1 3 -1 us 3 
3 0 0 0 -1 3]| uw $ 


解 是 z = [1,1,1,1,1,1). 这 3 种 方法 各 自 运行 6 步 后 得 到 的 近似 解 向 量 ze 如 
表 2-1 所 示 . 


表 2-1 

Jacobi Gauss-Seidel SOR. 

0.987 9 0.995 0 0.998 9 
0.984 6 0.994 6 0.999 3 
0.967 4 0.996 9 1.000 4 
0.967 4 0.999 6 1.000 9 
0.984 6 1.001 6 1.000 9 
0.987 9 1.001 3 1.000 4 


逐次 超 松 弛 方法 中 的 参数 w 设 为 1.1， 对 这 个 问题 , SOR 显示 出 了 它 的 优 

越 性 . < 

图 2-3 就 不 同 的 w, 比较 了 经 过 6 步 迭 代 后 例 2.24 的 无 穷 范 数 误差 . 尽管 没有 
y 


OT 12128? 
图 2-3 A 2.24, 经 过 6 H SOR 选 代 后 的 无 穷 范 数 误差 , 它 是 超 松弛 
参数 w 的 一 个 函数 ，Gauss-Seidel 对 应 于 w = 1, 最 小 误差 发 
EE w = 1.13 时 
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一 般 性 理论 来 描述 w 的 最 优选 择 , 但 在 这 里 显然 有 最 优选 择 . 对 一 些 常用 的 特殊 情 
况 下 的 最 优 w 的 讨论 , 参见 [10]. 
2.5.3 ”和 迭代 方法 的 收敛 性 

本 节 证 明 : 对 于 严格 对 角 占 优 矩 阵 , Jacobi 和 Gauss-Seidel 方法 是 收敛 的 . 这 


就 是 定理 2.10 与 定理 2.11 的 内 容 . 
Jacobi 方法 写作 


Tk+1 = -D(L +U)z + Db. (2.36) 


附录 A 的 定理 A.7 决定 了 这 样 一 种 迭代 的 收敛 性 . 根据 这 个 定理 , 我 们 需要 知道 
谱 半径 
p(D-I(C+U))<1 

以 保证 Jacobi 方法 的 收敛 性 . 而 严格 对 角 占 优 和 矩阵 恰好 蕴含 了 这 一 点 , 接 下 来 我 们 
会 加 以 证 明 . 

定理 2.10 的 证 明 ER = L+U 表示 矩阵 的 非 对 角 部 分 . 为 检验 (DR) < 
1, 设 和 为 D-1R 的 一 个 特征 值 , v 为 相应 的 特征 向 量 . 选择 这 个 v 使 得 lull。 = 1, 
并 使 得 对 一 些 1 < m <n, 分 量 vm = 1 而 所 有 其 他 的 分 量 都 不 大 于 1( 由 任 一 特征 
向 量 开始 , 并 除 以 最 大 的 分 量 即 可 做 到 这 一 点 . 一 特征 向 量 的 任意 常数 倍 还 是 同一 
特征 值 的 特征 向 量 ). 特征 值 的 定义 意味 着 D-* Rv = Av 或 Rv = Dv. 

因 rmm = 0, 取 这 个 向 量 方程 的 第 m 个 分 量 的 绝对 值 意味 着 ; 


[rm101 十 rma2V2 + +++ Tm,m-1Um-1 + Tmymt1Umti 十 :十 rmnun| 
一 |AXdmmum| = [Mldmml. 
由 于 所 有 的 |vi| < 1, 左 端 项 至 多 为 rmjl, 而 根据 严格 对 角 占 优 的 假设 , 它 小 于 


|dmml, AWE JAlldmml] < |dmml, 这 又 使 得 Al < 1. 因为 是 任 一 特征 值 , 我 们 已 
如 愿 证 明了 (D'R) < 1. 现在 附录 A 的 定理 A.7 BEAT Jacobi 收敛 到 As = b 
的 解 . 最 后 , 因为 Az = b 对 任 一 b 都 有 一 个 解 , 故 A 为 非 奇 异 矩阵 . 

把 Gauss-Seidel 方法 置 入 到 (2.36) 的 形式 中 , 得 到 


zk+l = —(L + D) Uz, +(L+D)-b. 


那么 很 清楚 的 是 , RERE 

(L+D)U (2.37) 
的 谱 半 径 小 于 1, 就 得 到 了 Gauss-Seidel 方法 的 收敛 性 . 下 一 个 定理 说 明 严 格 对 角 
占 优 性 蕴含 了 对 特征 值 的 这 个 要 求 . 
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定理 2.11 BnxnBEARPBH ASLAM, Ml (1) A 是 非 奇 异 短 阵 , (2) 
对 每 个 向 量 b 及 每 个 开始 猜测 , 应 用 于 Ax = b 的 Gauss-Seidel 方法 都 收效 到 一 个 
解 . 

证 设 入 为 (2.37) 的 一 个 特征 值 , 相应 的 特征 向 量 为 u 如 前 一 定理 中 的 证 
明 那 样 , 选择 特征 向 量 使 得 vrm = 1 且 所 有 其 他 的 分 量 在 绝对 值 上 都 小 于 1. 注意 
到 工 的 元 素 是 Qij,i > j; U 的 元 素 是 aij,i <j. 则 仔细 检查 (2.37) 的 特征 值 方程 


A(D + L)v = Uv 


的 m 行 得 到 类 似 于 前 一 证 明 中 的 一 串 不 等 式 


lal (= lon!) < | (en -5 ou) <Il (enni - 


i>m i<m 


<Il [enn +> on = |E en 


i<m i>m 


> QmiVi 


i<m 


<> lamil. 


i>m 


) 


这 就 得 到 | 和 | < 1, 从 而 完成 了 证 明 . 
2.5.4 ”稀疏 矩阵 计算 


基于 高 斯 消去 法 的 直接 方法 提供 了 在 有 限 步 内 就 可 得 到 解 的 方法 ， 寻 求 和 迭代 
方法 的 理由 是 什么 ? 仅仅 是 为 了 得 到 近似 解 或 者 是 收敛 所 需要 的 若干 步骤 ? 

使 用 像 Gauss-Seidel 这 样 的 迭代 方法 有 两 个 主要 的 理由 .这 两 个 理由 来 自 于 
这 样 的 事实 , 即 迭 代 方 法 的 每 一 步 仅 需 要 完整 的 LU 分 解 方法 所 需 浮 点 运算 的 一 
部 分 .正如 在 本 章 前 面 所 述 , 求解 n x n 矩阵 的 高 斯 消去 法 花费 na 阶 的 运算 . 而 
Jacobi 方法 的 一 步 , 例如 , 需 大 约 n? 次 乘法 (对 每 个 矩阵 元 素 ) 及 大 约 相同 次 数 的 
加 法 . 问题 是 在 用 户 的 容忍 范围 内 需要 多 少 步 才 能 得 到 收敛 性 . 

对 一 种 迭代 方法 特别 值得 关注 的 情况 是 何 时 已 知 得 到 了 一 个 好 的 近似 解 ， 例 
如 , 在 得 到 了 Aa = b 的 解 之 后 , A 或 5 发 生 了 一 些小 的 变化 . 我 们 可 以 想象 一 个 
动态 问题 , 其 中 4 Al b 发 生变 化 时 不 断 地 被 重新 度量 , 且 不 断 地 得 到 一 个 精确 的 
校正 解 x. 如 果 前 一 个 问题 的 解 被 用 作为 类 似 的 新 问题 的 初始 估计 , 则 可 期 望 得 到 
Jacobi 或 Gauss-Seidel 方法 更 好 的 收敛 性 . 

假设 问题 (2.35) 中 的 b 从 最 初 的 b = [2.5,1.5,1,1,1.5,2.5] 经 一 小 小 的 变 
化 而 变 成 了 新 的 b = [2.2,1.6,0.9,1.3,1.4,2.45]. 我 们 可 检验 到 该 方程 组 的 真 解 从 
[1,1,1,1,1,1] 变 成 了 [0.9,1,1,1.1,1,1. 假设 我 们 存储 有 以 前 一 表 中 经 6 步 Gauss- 
Seidel 和 迭代 后 的 解 ce, 把 它 用 作 初 始 估计 , 对 新 的 b 继续 Gauss-Seidel 和 迭代, 并 借 
助 于 有 用 的 初始 估计 ze 仅 需 再 迭代 一 步 就 可 得 到 一 个 好 的 近似 . 接 下 来 的 两 步 如 
表 2-2. 
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表 22 
T7 T8 
0.898 0 0.899 4 
0.998 0 0.988 9 
0.965 9 0.992 7 
1.089 2 1.096 6 
0.997 1 1.000 5 
0.999 3 1.000 3 


这 种 方法 常常 叫做 精 化 (polishing), 因为 该 方法 从 一 近似 解 ( 它 可 能 是 前 面相 关 问 
题 的 解 ) 开始 , 仅 对 其 加 工 改善 使 其 更 精确 . 在 实时 应 用 场合 , 即 当 数 据 随时 间 在 更 
新 而 需要 重复 求解 同样 的 问题 时 , 精 化 方法 是 常用 的 . 若 系统 规模 大 而 时 间 短 , 则 
在 规定 的 时 间 内 运行 一 个 完整 的 高 斯 消去 法 或 甚至 一 个 回 代 过 程 都 不 可 能 . 如 果 解 
还 没有 太 大 的 改变 , 那么 当 解 随时 间 变 化 时 , 经 过 几 步 相对 便宜 的 迭代 方法 后 , 解 
可 保持 足够 的 精度 . 

求解 稀 政 方程 组 (sparse systems of equations) 是 使 用 迭代 方法 的 第 二 个 主要 
的 理由 . 如 果 一 个 系数 矩阵 的 许多 元 素 已 知 为 0, 则 此 矩阵 叫做 是 稀疏 的 , 经 常 一 
ARRERA n 个 元 素 为 0, 而 仅 有 O(n) 个 非 零 元 素 . 相反 的 情况 是 满 的 矩阵 ， 
其 少数 的 元 素 可 能 为 0. 对 一 稀疏 矩阵 应 用 高 斯 消去 法 通常 会 导致 填充 (fll-in)， 即 
由 于 必要 的 行 运算 而 使 得 系数 矩阵 从 稀疏 变 为 满 的 . 因此 , 通常 对 稀疏 矩阵 避免 使 
用 高 斯 消去 法 及 PA = LU 方法 , 而 把 和 迭代 方法 作为 可 行 的 替代 方法 . 

例 2.24 可 扩展 为 下 例 中 的 稀疏 矩阵 . 

例 2.25 ”用 Jacobi 方法 求解 例 2.24 的 含有 100 000 个 方程 的 形式 . 

Bn 为 一 偶数 , 考虑 mxm 矩阵 A, 其 对 角 元 为 3, 超 对 角 元 (superdiagonal) 和 次 
对 角 元 (subdiagonal) 为 —1, 对 除 ;= 号 及 号 +1 外 所 有 的 i= 1,2,--- n, (mn 十 1 一 让 
位 置 上 的 元 素 为 3. 例如 n= 12 时 ， 


f 3-1 0 0 0 0 0 0 0 0 0 į] 
-1 3-1 0 0 0 0 0 0 0 3 0 
0-1 3-1 0 0 0 0 0 $ 0 0 
0 0-1 3-1 0 0 0 3 0 0 0 
0 0 0-1 3-1 0 3 0 0 0 0 

az} ® 0 0 0 -1 3-1 0 0 0 0 0 (2.38) 
0 0 0 0 0-1 3-1 0 0 0 0 
o 0 0 0 $ 0-1 3-1 0 0 0 
0 0 0 $ 0 0 0-1 3-1 0 0 
0 0o $ 0 0 0 0 O-1 3 -1 0 
o ¢ 0 0 0 0 0 0 0-1 3-1 
3 0 0 0 0 0 0 0 0 6-1 3] 


110 第 2 章 F A 组 


定义 向 量 = (2.5,1.5,… ,1.5,1.0,1.0,1.5,… ,1.5,2.5), 其 中 有 n 一 4 个 1.5 和 2 个 
1.0. ERB n= 6, 则 AM b 定义 了 例 2.24 的 方程 组 . 对 一 般 的 n, 方程 组 的 解 
为 [1,… UA 的 行 中 非 零 元 素 没有 多 于 4 个 的 . 由 于 n 个 可 能 的 元 素 中 只 有 不 
超过 4n 个 元 素 是 非 零 的 , 我 们 可 称 和 矩阵 A 是 稀疏 的 . 

如 果 我 们 想 对 n = 100 000 或 更 大 的 n 求解 这 个 方程 组 , 该 选择 什么 方法 呢 ? 
车 把 系数 矩阵 4 看 作 是 满 的 则 意味 着 要 存 n? = 10° 个 元 素 , 而 每 个 元 素 作为 
一 个 浮 点 双 精 度数 需要 8 字 节 的 存储 空间 . 注意 到 8 x 10 个 字 节 近似 于 80 个 
G. 根据 你 的 计算 机 配置 , 也 许 不 可 能 把 所 有 的 n? 个 元 素 都 存在 RAM( 随 机 存储 
器 ) 中 . 

我 们 面临 的 困难 不 仅 是 矩阵 太 大 , 还 有 时 间 . 高 斯 消去 法 所 需 的 运算 次 数 将 是 
n3 ~ 1015 阶 的 . 如 果 你 的 机 器 以 几 GHz( 每 秒 109 次 ) 运行 , 则 每 秒 浮 点 运算 次 数 
的 一 个 上 界 大 约 为 108. 因此 , 1015/108 = 107 就 是 高 斯 消去 法 所 需 秒 数 的 一 个 合 
理 的 估计 . 一 年 也 不 过 有 3 x 107 , 虽然 这 是 一 个 粗略 的 计算 , 但 很 明显 , 对 这 个 
问题 , 高 斯 消去 法 耗费 的 时 间 太 长 了 !! 

另 一 方面 , 迭代 方法 的 每 一 步 大 约 需要 2 x 4n = 800 000 次 运算 , 即 对 每 个 非 
零 的 矩阵 元 素 进行 两 次 运算 . 我 们 可 进行 Jacobi 迭代 100 步 , 且 还 是 在 不 到 108 次 
运算 后 即 可 完成 , 这 将 在 一 台 现 代 个 人 电脑 上 花费 大 约 1 秒 不 到 的 时 间 . 对 刚才 定 
SHY n = 100 000 的 方程 组 , 下 面 的 Jacobi 代码 Jacobi .m 仅 需 50 步 即 可 从 一 初始 
估计 (0,… ,0) 收敛 到 解 (1,… ,1), 精确 到 小 数 点 后 6 位 , 在 一 般 的 个 人 电脑 上 执 
行 50 步 所 需要 的 时 间 不 到 1 秒 钟 . 

% Program 2.1 Sparse matrix setup 


% Input: n = size of system 
% Outputs: sparse matrix a, r.h.s. b 


function [a,b] = sparsesetup(n) 

e = ones(n,1); 

n2=n/2; 

a = spdiags([-e 3*e -e],-1:1,n,n); % Entries of a 
c=spdiags({e/2],0,n,n) ;c=fliplr(c) ;a=a+c; 

a(n2+1,n2) = -1; a(n2,n2+1) = -1; % Fix up 2 entries 
b=zeros(n,1); % Entries of r.h.s. b 


b(1)=2.5;b(n)=2.5;b(2:n-1)=1.5;b(n2:n2+1) =1; 


% Program 2.2 Jacobi Method 

% Inputs: full or sparse matrix a, r.h.s. b, 
% number of Jacobi iterations, k 

% Output: solution x 

function x = jacobi(a,b,k) 

n=length (b) ; % find n 

d=diag(a); % extract diagonal of a 
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r=a-diag (d); % r is the remainder 
x=zeros(n,1); % initialize vector x 
for j=1:k % loop for Jacobi iteration 
x = (b-r*x) ./d; 
end % End of Jacobi iteration loop 


注意 一 下 上 述 代码 的 一 些 有 意思 的 地 方 . 程序 sparsestup .am 使 用 了 MATLAB 的 
spdiags 命 令 , 该 命令 把 矩阵 4 定义 为 一 稀疏 数据 结构 . 本 质 上 这 意味 着 矩阵 由 一 
组 三 元 数组 (i,j, d) 表示 , 其 中 d 为 矩阵 在 位 置 (i,j) 处 的 实数 元 素 . 存储 器 并 不 提 
供给 全 部 的 n? 个 可 能 的 元 素 , 而 只 是 基于 所 需 进行 配置 . 命令 spdiags 将 矩阵 的 列 
置 于 主 对 角 线 或 其 下 方 或 上 方 的 特定 的 次 对 角 线 或 超 对 角 线 上 . 

MATLAB 的 矩阵 操作 命令 可 无 颖 对 接地 用 于 稀疏 矩阵 数据 结构 . 例如 , 用 MAT- 
LAB 的 lu 命令 对 上 述 代 码 进行 修改 即 可 直接 求解 方程 组 . 不 过 对 那个 例子 , 尽管 A 
是 稀疏 的 , 在 程序 执行 过 程 中 , 由 高 斯 消去 法 得 到 的 上 三 角 和 矩阵 U 仍 出 现 了 填充 
现象 . 例如 , 对 前 面 的 矩阵 A, 当 n = 12 时 , 由 高 斯 消去 得 到 的 上 三 角 和 矩阵 U 为 


B -10 0 0 0 0 0 0 0 0 0 0.506] 
0 27 -10 0 0 0 0 0 0 0 0.500 0.165 
o o 26 -10 0 0 0 0 0 0.500 0.187 0.062 
o o 0 2.6 -1.000 0 0 0 0.500 0.191 0.071 0.024] 
o o 0 0 2.618 -1.000 0 0.500 0.191 0.073 0.027 0.009] 
o o 0 0 0 2.618 -1.000 0.191 0.073 0.028 0.010 0.004| 
o o 0 0 0 0 2.618 -0.927 0.028 0.011 0.004 0.001| 
o o 0 0 0 0 0 2.562 ”一 1.032 ”一 0.012 ”一 0.005 —0.001 
o o 0 0 0 0 0 0 2.473 —1.047 —0.018 ”一 0.006| 
jo o 0 0 0 0 0 0 0 2.445 —1.049 —0.016| 
o o 0 0 0 0 0 0 0 0 2.440 —1.044| 
o o 0 0 0 0 0 0 0 0 0 2.458] 


由 于 U 变 成 了 一 个 相对 较 满 的 矩阵 , 前 面 提 到 的 存储 约束 又 成 了 一 个 限制 . 为 
完成 求解 过 程 , 需要 用 到 "2 个 存储 位 置 的 有 效 部 分 来 存放 U. 用 和 迭代 方法 求解 这 
个 大 型 稀疏 系统 会 更 有 效 , 在 执行 时 间 及 存储 量 上 可 相差 几 个 数量 级 . < 
习题 2.5 

1. 用 初始 向 量 [0,… ,0] 计算 Jacobi 和 Gauss-Seidel 方法 的 前 两 步 : 


1 2 一 1 0 
otal) of: 
0 -1 2 


Sk A u 6 
(c) 13 1 v |=|3 
1 1 3 w 5 


2. 重 排 方程 组 形成 一 个 严格 对 角 占 优 系统 . 用 初始 向 量 [0,… ,0] 计算 Jacobi 和 Gauss- 
Seidel 方法 的 前 两 步 : 
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Sukau =; 3u-v+w= -23 4u+3w=0. 
3. 利用 SOR 求解 习题 1 中 的 方程 组 , 计算 前 两 步 , 用 初始 向 量 [0,… ,0] Rw = 1.5. 
4. 对 重 排 后 的 习题 2 计算 SOR 的 前 两 步 , 用 初始 向 量 [0,… ,0] Rw =1 和 1.2. 
5. BWA An x n 矩阵 4 的 一 个 特征 值 . 
(a) 证 明 Gershgorin 圆 盘 定理 : 存在 一 个 对 角 元 Amm 使 得 |Amm — 和 | < p3) lAm;l 


(提示 : 从 一 特征 向 量 v 开始 , 使 得 lollo = 1, 如 定理 2.10 中 的 证 明 )，” 
(b) 证 明 严 格 对 角 占 优 箱 阵 不 会 有 等 特 征 值 . 这 是 定理 2.10 部 分 (1) 的 另 一 证 明 . 


ATERN u—8v—2w=1, u+4v=5, 
ofi v=- (6) 4 u+v+5w=4, (c) v+2w=2, 


计算 机 问题 2.5 


1. 用 Jacobi 方法 解 稀疏 方程 组 , 精确 到 小 数 点 6 位 (前 向 误差 按 无 穷 范 数 )， 其 中 分 别 取 
n= 100 KR n= 100 000. 正确 的 解 是 [1,… ,1] . 给 出 所 需 的 步 数 及 后 向 误差 . 方程 组 为 


3 -1 Tı 2 


1 
一 3 Tn 2 


2. 用 Jacobi FAREA BAL, 精确 到 小 数 点 3 位 (前 向 误差 按 无 穷 范 数 ), 其 中 n = 100. 
正确 解 为 [1, 一 1, 1, 一 1,… , 1, 一 1]. 给 出 所 需 的 步 数 及 后 向 误差 . 方程 组 为 


1 2 En -N 


。 改 写 程序 2.2 以 执行 Gauss-Seidel AR. 求解 例 2.24 中 的 问题 来 检验 你 的 工作 . 

. 改写 程序 2.2 以 执行 SOR. 取 w = 1.1 再 检验 例 2.24. 

用 (a) Gauss-Seidel 方法 和 (b) w = 1.2 的 SOR, 对 n = 100 执行 计算 机 问题 1 的 步骤 . 
. 用 (a) Gauss-Seidel 方法 和 (b) w = 1.5 的 SOR, 执行 计算 机 问题 2 的 步 又. 

.利用 计算 机 问题 3 中 你 的 程序 , 确定 用 Gauss-Seidel 方法 在 1 秒 钟 的 计算 中 你 能 精确 求 
解 多 大 规模 的 类 似 于 (2.28) 的 方程 组 . 给 出 所 需 的 时 间 及 对 不 同 n 值 的 前 向 误差 . 


Noapo 
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实例 检验 2 Euler-Bernoulli R 


Euler-Bernoulli 梁 是 在 应 力作 用 下 弯曲 的 一 个 简单 模型 .离散 化 把 微分 方程 模型 转化 成 
了 一 个 线性 方程 组 . 减 小 离散 化 的 步 长 则 给 出 越 来 越 大 的 方程 组 . 令 人 惊讶 的 是 , 还 没 等 到 计 
算 时 间 成 为 一 个 (需要 考虑 的 ) 因素 之 前 , 系统 的 规模 已 被 坏 条件 限 制 住 了 . 

梁 的 垂直 位 移 由 一 个 函数 y(z) 表示 , 其 中 0 < z < 工 ( 沿 着 长 为 工 的 梁 的 方向 ). 我 们 将 
在 计算 中 使 用 MKS 单位 ( 米 , 千克 , 秒 ). 位 移 y(z) 满足 Euler-Bernoulli 方程 


EIy” = f(z), (2.39) 


其 中 , 材料 的 杨 氏 模 数 已 及 惯性 的 面积 矩 7 为 沿 着 梁 的 常量 . 右 端 项 f(z) 为 应 用 负荷 , 包括 
梁 的 重量 (每 单位 长 度 上 的 力 ). 
离散 化 导数 的 方法 可 以 在 第 5 章 中 找到 , 在 那里 将 证 明 4 阶 导数 的 一 个 合理 近似 为 


y"(a) & ylz — 2h) — 4y(z - h) + Suis) — 4y(x +h) + y(z + 2h) (2.40) 


对 小 的 增 量 h 成 立 (见习 题 5.1.19)， 这 种 近似 的 离 衣 化 误差 与 A? 成 比例 . 我 们 的 策略 将 是 把 
REA WEKE h 的 小 部 分 的 并 , 把 微分 方程 的 离散 化 形式 用 于 每 一 个 小 部 分 ， 
对 一 正 整数 n, 设 = Ly, 考虑 等 分 的 网 格 0 = zo < zi < … < zn < anys 一 已 其 中 
fh ay — aah = 1, yn 对 位 移 Wi = yla) 用 差分 近似 (2.40) 代替 微分 方程 (2.30) 得 到 
线性 方程 组 为 ， 
via = dy + Oy — Ayia + yia = 2 sles) (241) 


FOR A= 1 n,n ARAR yi,- ,yn, 以 及 nn 个 方程 . 系数 矩阵 或 结构 矩阵 的 元 素 将 
来 自 这 个 方程 的 左 端 项 , 稍 作 改 变 以 考虑 关于 梁 端 点 处 支撑 的 假设 . 
首先 考虑 带 有 下 列 边界 条 件 的 梁 


y(0) = y'(0) = y(L) = y'(L) = 0， 


这 叫做 固定 梁 (pinned beam). 在 两 端 它 是 固定 的 , 其 斜率 被 约束 为 0 Buler-Bernoulli 方程 允 
许 在 中 间 的 下 垂 度 的 计算 ， 
固定 梁 的 端点 条 件 用 近似 
yax 12y(x +h) — we 2h) + $y(z + 3h) 
来 处 理 , 其 中 z = 0. 当 y(z) = y(z) = 0 时 , 近似 是 有 效 的 , 正如 习题 5.1.20(a) 所 证 . 因此， 
对 i= 1, 考虑 到 了 端点 条 件 的 (2.41) 形式 为 


i op iw ia) 
yı y2 37 EI 0)- 


对 梁 的 右 端 作 同样 的 考虑 , 则 对 固定 梁 得 到 下 列 方程 组 : 
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12 -6 4 wu f(z1) 
et i n fe) 
1 -4 6 -4 1 
he 
i EI 
1-4 6 -4 1 
1-4 6 -4 1 

he ie i Yn-1 f(zn-1) 
į -6 -12 Yn f(zn) 


(2.42) 
结构 矩阵 A 是 一 个 带 状 矩阵 (banded matrix), 即 离开 主 对 角 线 足 够 远 处 的 所 有 元 素 皆 为 0. 
在 (2.42) 中 , 除了 li- j| < 2 外 , 矩阵 元 素 aij = 0, 这 个 带 状 矩阵 的 带宽 (bandwidth) 为 5. 
现在 讨论 一 个 具体 的 例子 , 考虑 长 10 米 、 高 5 厘米 、 宽 10 厘米 的 立体 钢 梁 . 钢 的 密度 大 
约 为 7 850 kg/m3(1 牛顿 力 为 1kg . m/sec”, 钢 的 杨 氏 模 量 大 约 为 2 x 10"! 帕斯卡 或 N/m’), 
在 其 质心 周围 的 惯性 的 面积 矩 了 为 bh3/12, 其 中 d 是 梁 的 高 度 , 5 是 宽度 
我 们 开始 计算 没有 有 效 负 载 的 梁 的 位 移 , 使 f(z) 仅 代表 梁 本 身 的 重量 ， 幸运 的 是 , 在 那 
种 情形 下 ，(2.39) 有 一 个 闭 型 解 , 使 得 我 们 可 以 比较 计算 结果 的 精度 . 每 米 梁 的 重量 f 是 重力 
加 速度 9.81m/sec? 与 常量 7 850bd kg/m 的 乘积 . 读者 可 以 验证 (2.39) 两 边 的 单位 是 一 致 的 . 


建议 习题 

1. 使 用 MATLAB 的 spdiags 命 令 , 写 一 段 MATLAB 程序 来 定义 (2.42) 中 的 结构 矩阵 A. 试 
用 Jacobi 和 Gauss-Seidel 方法 , 求解 n = 10 的 方程 组 以 得 到 位 移 yi. 哪 一 个 是 收敛 的 ? 
收敛 精确 到 小 数 点 6 位 需要 多 少 步 ? 

2. 相对 正确 解 y(z) = fz?(L 一 z)?/(24E7) 画 出 第 1 步 的 解 , 其 中 了 = f(z) 是 前 面 定义 的 
常数 . 注意 到 梁 的 位 移 将 是 非 负 数 , 所 以 下 垂 梁 的 实 图 将 反 转 位 移 的 符号 . 计算 梁 的 中 点 
x = 5 米 处 的 误差 . 

3. 对 n= 10 x 2* 再 运行 步骤 1 中 的 计算 , 其 中 = 1,… ,11. 对 每 个 n, 画 出 在 = = 5 处 
的 误差 的 表 . 为 什么 误差 随 n 而 增 大 ? 你 可 以 作出 A 的 条 件数 的 一 个 伴随 表 以 帮助 回答 
最 后 一 个 问题 . 

4. 现在 以 z = 6 到 z =7 给 梁 加 上 1 000 kg 的 有 效 负载 . 你 必须 对 所 有 的 6 < zi < 7 给 
f(zi) 加 上 1 000 kg/m?x9.81 m/sec?, 并 用 步骤 3 中 的 n 的 值 再 次 求解 该 问题 . 绘 出 解 . 
沿 着 梁 在 何 处 发 生 最 大 位 移 ? 

5. 现在 解 开 横梁 的 一 端 . 在 右 端 带 有 自由 边界 条 件 的 悬 璧 梁 (cantilever beam) 满足 条 件 


y(0) = y'(0) = y"(L) = y” (£) = 0. 


BRRABA (关于 求 导 见 习题 5.1.20) 为 
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12 -6 4 n f(z1) 


y2 f(z2) 


Yn-1 f(zn-1) 


3 -73 3 Yn f(zn) 
(2.43) 

对 解除 负荷 的 悬臂 梁 重 复 步 骤 3, 并 与 正确 的 解 y(z) = (f/24E7)z?(z? — 4Lz 十 672) 进 
行 比较 . 结构 矩阵 的 条 件数 比 固定 梁 的 条 件数 更 好 还 是 更 坏 ? 
给 县 辟 梁 加 上 负载 , WR 4, 重新 再 计算 . 如 负载 梁 一 样 在 同一 图 上 绘制 无 负载 梁 , 
为 进一步 解释 , 下 面 有 一 些 想法 : 若 矩 形 截面 变化 为 h = 10 cm 和 b=5 cm, 梁 变 得 更 强 
还 是 更 弱 ? 或 者 若 截面 是 与 矩形 面积 相同 的 圆 形 或 环形 又 怎样 呢 ? (半径 为 > 的 圆 形 截面 
的 惯性 面积 矩 是 = rr4/4, 内 径 为 ri、 外 径 为 r2 的 环形 截面 的 I= x(r$ — 74)/4.) 例 
如 , 求 出 钢 梁 的 惯性 面积 矩 . 不 同 材料 的 杨 氏 模 量 被 制作 成 表 可 供 使 用 . 
Euler-Berneoulli 梁 是 一 个 相对 简单 、 经 典 的 模型 . 更 多 新 的 模型 , 如 Timoshenko $, 考 
虑 了 更 一 般 的 弯曲 一 一 粱 的 截面 可 能 不 垂直 于 其 主轴 一 一 因此 常 更 精确 . 


no 


2.6 Hee Be 


RAGE A 有 特殊 的 形状 时 , 存在 求解 Az = b 的 特殊 的 方法 . 在 [7] 中 发 
RERIBET (conjugate gradient method) 即 为 这 些 情形 而 设计 , 通常 应 
用 于 当 4 为 对 称 正定 矩阵 时 . 


2.6.1 ”正定 矩阵 


定义 2.12 nxn seh A 是 对 称 的 (symmetric), 若 AT = A. HM A 是 正定 
的 (positive-definite), xt fA «A 0,27 Ax > 0. 

应 用 中 的 许多 矩阵 是 对 称 的 和 正定 的 . Æ 4 是 对 称 的 (意味 着 它 所 有 的 特征 
值 是 实数 ), 那么 当 它 所 有 的 特征 值 都 是 正 的 时 , 4 就 是 正定 的 . 注意 到 由 于 非 零 向 
量 = 不 可 能 满足 As = 0, 所 以 一 对 称 正定 矩阵 必须 是 非 奇 异 的 . 


例 2.26 证 明 矩 阵 A = | 2 > | 是 对 称 正定 的 . 
显然 4 是 对 称 的 . 为 证 明 其 正定 性 , 可 以 求 出 它 的 特征 值 (是 1 和 6) 或 回 到 
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定义 : 
T 2 2 71 2 2 2 2 
s" 4z= [zl zz] RS = 271 + 42122 + 513 = 2(zl + 22)? + 3x3 
T2 


这 个 表达 式 总 是 非 负 的 且 不 为 零 , 除非 z2 = 0 及 zi + za = 0, 而 这 隐 含 着 = = 0.4 


例 2.27 ”证 明 对 称 矩 了 A = | a: | 不 是 正定 的 . 
由 完成 平方 计算 zTAz: 
zT4z= [zl z2] | 2:4 | | by | 一 2z? + 8zlzz + 523 = 2(z? + 42122) + 523 
4 5 T2 
= 2(z, + 2x2)? — 823 + 523 = 2(zl + 222)? — 323. 
例如 , & zi = -2 和 z2 = 1, 得 到 的 结果 小 于 零 , 这 与 正定 的 定义 矛盾 . < 
2.6.2 HHA 
对 称 正定 系统 Aw = b, 可 由 下 面 的 有 限 次 循环 求解 ， 
FOE EE 
zo=0 
do = ro =b 


for i = 1,2,3,- ,n 
fines 0, stop, end 
er 
Ti = 1 + adj} 
Ti = 14-1 — Qi Adi- 
di = r; + Bidi- 
end 
解 是 zi 
注意 到 由 于 A 是 正定 的 , 故 a 的 分 母 是 非 零 的 . 在 迭代 的 开始 , 由 定义 Aa + 
ro = .在 迭代 过 程 中 , 注意 到 


Az; + rj = Azi_1 + aj Adi- + 74-1 — a; Adj_1 = Axi) + 74-1 =b, 


故 由 归纳 法 , 对 所 有 的 i, Aw + ri = b RY, 因此 ri = b- Aa, 是 第 i 步 的 残 差 
( 见 定义 2.4). Ë r: = 0, 则 方程 hz = 已 被 解 出 , 解 为 xi 定理 2.13 证 明了 所 有 
由 共 轿 梯度 迭代 产生 的 ri 彼此 相互 正 交 . 由 于 它们 是 n 维 向 量 , 7; 中 至 多 有 n 个 
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可 以 成 对 正 交 , 所 以 要 么 rn, 要 么 先前 的 r: 必须 为 0. 所 以 至 多 n 步 后 , SHORE 
达到 一 个 解 . 本 质 上 , 该 方法 是 一 个 直接 而 非 欠 代 方 法 . 

定理 2.13 设 妇 为 对 称 正定 的 nxn BH, b 为 一 向 量 . 在 共 瑟 梯度 方法 中 ， 
假设 对 1 <n A ri FOF ri = 0, 则 方程 已 解 ) 则 对 每 个 1<i<n, 

(a) 下 面 Rn 的 3 个 子 空间 是 相等 的 : 


(zi = (ro , Pi-1) = (do , di-1). 


(b) 残 差 是 成 对 正 交 的 : rzrji = 0, 对 于 j <i. 

(c) df Ad; = 0, 对 于 j <i. 

证 (a) 由 定义 ,zi = zi-l + aidi, WHA, 这 隐 含 着 (x1,---, ai) = 
(do,… ,di-1)， 利 用 di = ri + Bidi-1 可 以 证 明 (ro,… ,Ti-1) 与 (do ,di_1) 
相等 . 

对 (b) 和 (c), 由 归纳 法 继续 进行 下 去 . 当 i = 0 时 , 它们 显然 成 立 , 没有 什么 
要 证 明 的 . 对 i 之 1, 在 左边 用 7 了 RE r HRA: 


TiTi- 
‘T 
d? Adi; 


#j<i-2, 则 由 归纳 假设 (b) 知 rTrii = 0. WH r 可 以 由 do,… ,dj 表示 
出 来 , 则 由 归纳 假设 (c) 知 rP Adi) = 0. 另 一 方面 , Sj =i-1, 则 由 (2.44) 又 
Herb ri = 0, 这 是 因为 由 归纳 假设 , df Adi- = r} Adi- + pid? Adi- = 
r? Adi. 这 就 证 明了 (b). 

BR rE yr: =0, 当 j=i 时 (2.44) 说 明 


riri = TIri1 = r} Adj-1. (2.44) 


riri _ rp Adi 
T =e a 
Ti-1fi-1 d;_,Ad;_; 


这 个 式 子 与 用 dA 在 左边 乘 上 d 的 定义 一 起 得 到 


r7 Adi-ı 


d Ad, = E Ar; — AAL 
PAd =d A E Ada 


d} Adi-1. (2.45) 


Žj=i-1, 利用 和 的 对 称 性 , 由 (2.45) 可 得 di Ad; = 0. $j <i- 2, A 
Adj = (rj 一 rj+l)/aji+i( 由 mi MRR) 与 ri ER, 这 证 明了 (2.45) 的 第 一 项 为 0， 
由 归纳 假设 知 第 二 项 为 0, 这 就 完成 了 对 (c) 的 论证 . 


例 2.28 mmr | 2 i 
由 前 面 的 算法 , 我 们 有 


P 
ll 
sja 
ones 
32 
ll 
alt 
Fa 

$ 
N 
è 
Il 
bie 
èls 


—— heg 
aE 


ł 2 2 
oa 1 -| 
一 多 2 5 


因 r2 = b— Ax: = 0, 故 解 为 zz = [4, 一 1]. 


wo 

OE E 
[i 

一 一 一 

1 


外 


< 


在 例 2.28 中 , 注意 到 定理 2.13 保证 了 ri 与 ro EX, AP MRA 
法 成 功 的 关键 : 每 个 新 的 残 差 ri 与 前 面 所 有 的 ri BIER. 若 有 一 个 ri 变 为 0， 
则 Ac; = b H zi REM. BRE, 经 过 循环 n 步 后 , rn 与 由 n 个 成 对 正 交 向 
量 ro,… ,rn-1 所 张 成 的 空间 正 交 , 而 该 空间 必定 是 R, 故 rn 必 为 零 向 量 , 且 


Az, =b. 


KARAER Ty Ti He I A EP. MR, 编写 程序 显得 更 加 简 
单一 一 无 需 顾虑 行 运算 , 如 在 高 斯 消去 法 中 一 样 没有 3 次 循环 . 这 两 种 方法 都 是 直 
接 方 法 , 它们 都 在 有 限 步 内 达到 理论 上 的 正确 解 . 故 有 两 个 问题 须 考虑 : 为 什么 共 
白 梯 度 法 并 不 优 于 高 斯 消去 法 , 为 什么 共 轿 梯度 法 经 常 被 当 作 是 一 个 迭代 方法 ? 
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我 们 从 运算 计数 开始 回答 这 两 个 问题 . 执行 完 循环 需要 一 次 矩阵 与 向 量 的 乘积 
(Adn-1) 与 几 次 额外 的 点 积 . 仅 矩 阵 与 向 量 的 乘积 每 一 步 就 需 n? 次 乘法 (同时 有 
相同 次 数 的 加 法 ), Bn 步 后 , 总 计 有 na 次 乘法 . 与 高 斯 消去 法 写 次 计数 相 比 , 这 
是 3 倍 的 工作 量 , KAT. 

若 ARRAK, 则 情形 就 不 一 样 了 . 假设 n 太 大 使 得 就 高 斯 消去 法 的 守 次 
运算 量 而 言 已 不 可 行 , 则 高 斯 消去 法 必须 执行 完毕 方 可 给 出 解 zx, 而 共 配 梯度 法 在 
每 步 可 给 出 一 个 近似 解 ri. 

残 差 的 欧 氏 长 度 每 步 都 在 减少 , 故 至 少 按 欧 氏 度 量 而 言 , 每 一 步 Ax, 越 来 越 接 
近 b. 因此, 依靠 监控 7;, 可 以 求 出 一 个 足够 好 的 解 以 避免 完成 所 有 的 n 步 . 在 这 
种 情况 下 , SU BEE SERRE T. 

当 A 是 一 个 病态 矩阵 时 , 由 于 这 种 方法 对 含 入 误差 累积 的 敏感 性 , 所 以 该 方 
法 在 发 现 不 久 后 即 受 到 冷落 . 事实 上 , 对 病态 矩阵 , 共 轿 梯度 法 不 如 带 有 部 分 主 元 
的 高 斯 消去 法 . 现今 , 利用 预 优 法 (preconditioning) 解决 了 这 个 障碍 , 预 优 法 实质 上 
是 把 问题 转变 为 求解 一 个 更 好 条 件 的 矩阵 系统 , 这 样 就 可 以 应 用 共 二 梯度 法 了 . 参 
见 [8] 以 获取 更 多 的 信息 . 

BIVENS PUR FSO BEE ICE BIEN: 沿 着 n 维 的 一 个 二 次 抛物 面 的 
斜率 下 滑 , BRR BABE” BRAD RR AEE RD SRE ETH I, SEE 的 意 
思 是 并 不 是 每 一 步 都 与 另 一 步 正 交 , 但 至 少 残 差 r; 是 这 样 的 .该 方法 的 几何 细节 
与 其 形成 背景 是 令 人 感 兴趣 的 , 但 超出 了 本 书 的 范围 . 最 早 的 文章 [7] 给 出 了 完整 
的 描述 . 

Bl 2.29 ”应 用 共 斩 梯度 方法 求解 n = 100 000 的 系统 (2.38). 

BITS HPA BEE 20 步 后 , 按 向 量 无 穷 范 数 , 计算 解 z 与 真 解 (1,… ,1) 之 间 
的 差 小 于 10-9. 在 一 台 个 人 电脑 上 , 总 的 运算 时 间 不 到 1 秒 钟 . < 


习题 2.6 
1. 把 sAr 表示 成 平方 和 的 形式 , 以 证 明 下 列 和 矩阵 是 对 称 正 定 的 : 


1 0 1 3 Bone 
wf sol ape 020 
0 0 3 
2. 找 出 一 个 向 量 = #0 使 得 >74z < 0, 以 证 明 下 列 对 称 矩 阵 不 是 正定 的 . 
1 0 0 
1 0 1 2 1 -1 
ohsh [2 3) of 2 a] os = e 
0 -3 2 2 -1 0 o Wome 
3. ATHITI EER PIE: 


eft) of JEPE) 
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a. ATHITI ROR FAIM: 
1 -1 u 0 41 u -3 
四 -= 


Ca 者 4>4 we a=] 3 z] 是 正定 的 . 


只 


6. 对 一 般 数量 情形 Ax = b HITIRI, 其 中 A 是 1 x 1 SER, 求 出 aa, zi 并 证 明 
rı =0 & Azı =b. 
. 求 出 所 有 的 数 d 使 得 A 二 | i 


2 


3 


一 2 
F | 是 正定 的 . 


1 -1 0 
-1 2.1 
O dd 


8. 求 出 所 有 的 数 d 使 得 A = 是 正定 的 . 


计算 机 问题 2.6 
1. 编写 共 思 梯 度 方法 的 MATLAB 程序 , 并 用 它 求解 下 列 方程 组 : 


fe 3]:]-[]: el E]-E] 


. ASO BEI MATLAB 程序 , 求解 下 列 方程 组 : 


1 -1 0 u 0 i =2)-0 u 
-1 21 v | = -l 21 v|= 
w 0 1 5 w 


2 
0612 


(a) ; (b) 


3 
3 4 
. HEIEREN (a) n = 4; (b) n = 8 求解 方程 组 He = b, 其 中 H Æ nxn 的 Hilbert 
AERE, b 是 分 量 皆 为 1 的 向 量 . 
4. FIEIRA (a) n = 6;(b) n = 12 求解 例 2.25 的 稀 玖 问题 . 
.用 共 力 梯度 法 对 n = 100, n = 1 000 与 n = 10 000 求解 例 2.25. 给 出 最 终 残 差 的 大 小 及 
所 需 的 步 数 . 


名 


a 


2.7 ” 非 线 性 方程 组 系统 


第 1 章 讲述 了 求解 合 一 个 未 知 量 的 单个 方程 (通常 是 非 线性 的 ) 的 方法 . 第 2 
HES, 我 们 学 习 了 方程 组 的 求解 方法 , 但 需要 方程 组 是 线性 的 . 非 线性 与 “多 于 
一 个 方程 ”结合 在 一 起 使 难度 增加 很 多 . 本 节 描 述 了 求解 非 线 性 方程 组 的 Newton 
方法 及 其 变形 . 

2.7.1 多 变量 Newton 方法 


单 变量 Newton 方法 f(x) 


Tk+1 = Tk 一 Fier) 
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给 出 了 多 变量 Newton 方法 的 主要 特征 . 这 两 种 方法 都 源 于 由 Taylor 展开 式 提供 
的 线性 近似 . 例如 , 设 


felu, v, w) = 0, 
falu, v, w) =0 
为 3 个 含 3 个 未 知 量 www 的 非 线性 方程 . 定义 向 量 值 函 数 严 (w v, w) = (fi, fo, fs), 
用 F(x) = 0 表示 问题 (2.46), 其 中 z = (u,v, w). 
类 似 于 单 变量 情形 里 的 导数 f, 可 以 定义 Jacobi 矩阵 为 
PEE 
ðu v ðw 


在 zo 点 附近 , 向 量 值 函数 (vector-valued function) 的 Taylor 展开 式 是 


| fi(u,v,w) = 0, 


DF(z) = 


F(x) = F (z0) + DF (xo) - (w — £0) + O(z — ao)? 


例如 , 在 zo = (0,0) 附近 F(u, v) = (e*+*, sinwu) 的 线性 展开 式 是 


[p[i Sia 
- [a] ie ] roe 


Newton 方法 基于 忽略 了 O(h?) 项 的 一 个 线性 近似 . 正如 在 一 维 情形 , 设 r =r 
为 根 , zo 为 当前 估计 , 则 


0 = F(r) © F(z0) + DF(z0): (r — 20), 


或 
—DF(20) F(z0) ¥ r — to. (2.46) 


所 以 , 根 的 一 个 更 好 的 近似 来 源 于 求解 (2.46) 得 到 的 r- 
多 变量 Newton 方法 


zo = 初始 向 量 ， 
Tk+1 = Tk — (DF (Tk) F (2x), kD, es 


由 于 从 计算 的 角度 而 言 , 求 着 是 难以 负担 的 , 所 以 我 们 用 一 个 技巧 来 避免 . 在 
每 步 ,不 用 按照 前 述 的 定义 Bony = o — 0, 其 由 “为 Dr 
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解 . 现在 , 仅 需 高 斯 消去 法 (村 次 乘法 ) 执行 一 步 而 不 用 计算 求 逆 (大 约 3 倍 多 运 
算 量 ). 因此 , 多 变量 Newton 方法 的 迭代 步骤 为 


{ DF(zk)s = —F(ax), (2.47) 
Tk+1 = Tk +8. 
Bl 2.30 ” 取 初 始 估计 (1,2), 用 Newton 方法 求解 方程 组 
v—u=0, 
w+v?-1=0. 
图 2-4 表示 出 了 Ai(u,v) =v- u? Al fo(u,v) =u? +2 -1 都 为 0 的 集合 , 以 
及 它们 对 应 于 方程 组 解 的 两 个 交点 . Jacobi 矩阵 是 


—3u? 1 | 


prise) | es 


利用 初始 点 zo = (1,2), 在 第 一 步 我 们 必须 求解 矩阵 方程 (2.47): 


[2 [2 ]--[2] 


解 为 s = (0,-1), 故 第 一 步 迭 代 产 生 zi = zo + 8 = (1,1), 第 二 步 需要 求解 


[3 lle ]--L3} 


Æ 2-4 例 2.30 的 Newton 方法 : 两 个 根 是 实心 点 .Newton 方法 生成 
的 空心 点 收敛 到 近似 解 (0.826 0, 0.563 6) 


解 是 s = (-1/8, -3/8),z = 21 + s = (7/8,5/8). 两 个 迭代 如 图 2-4 所 示 . 进 一 
PERG BIR 2-3. 
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表 2-3 
Ez] u v 
0 1.000 000 000 000 00 2.000 000 000 000 00 
T 1.000 000 000 000 00 1.000 000 000 000 00 
2 0.875 000 000 000 00 0.625 000 000 000 00 
3 0.829 036 348 267 12 0.564 349 112 426 04 
4 0.826 040 108 170 65 0.563 619 773 502 84 
5 0.826 031 357 732 41 0.563 624 162 131 63 
6 0.826 031 357 654 19 0.563 624 162 161 26 
T 0.826 031 357 654 19 0.563 624 162 161 26 


在 输出 序列 中 出 现 了 显然 的 代表 二 次 收敛 性 特征 的 准确 小 数位 的 加 倍 .方程 
组 的 对 称 性 说 明 车 (u,v) 是 一 个 解 , W (—u, —v) 也 是 解 , 这 在 图 2-4 中 是 明显 的 . 
取 一 个 邻近 的 初始 估计 , 应 用 Newton 方法 可 求 出 第 二 个 解 . 4 
例 2.31 FA Newton 方法 求 出 方程 组 


fi(wv) =6u+u— 3v3—4=0, 
falu, v) = u? — 18uv? + 163 +1 =0 


的 解 . 注意 到 (u,v) = (1,1) 是 一 个 解 . 事实 表明 , 还 有 另外 两 个 解 . Jacobi 矩阵 是 


18u? +v u—9v? 


DF(u,v) = 
(uy) Pee —36uv + 48v? 


正如 在 一 维 的 情形 中 一 样 , 其 解 由 依赖 于 初始 估计 的 Newton 方法 求 出 . 利用 初始 
点 (uo, vo) = (2,2), 迭代 前 述 的 公式 得 到 表 2-4. 另外 的 初始 向 量 导 出 其 他 两 个 根 ， 
近似 为 (0.865 939, 0.462 168) 和 (0.886 809, 一 0.294 007). 见 计算 机 问题 2. 


表 2-4 
步骤 u v 
0 2.000 000 000 000 00 2.000 000 000 000 00 
1 1.372 580 645 161 29 1.340 322 580 645 16 
2 1.078 386 812 004 43 1.053 801 232 649 84 
3 1.005 349 688 965 20 1.002 692 618 715 39 
4 1.000 033 678 665 06 1.000 022 437 720 10 
5 1.000 000 001 119 57 1.000 000 000 578 94 
6 1.000 000 000 000 00 1.000 000 000 000 00 
7 1.000 000 000 000 00 1.000 000 000 000 00 


若 能 算出 Jacobi 矩阵 , 则 Newton 方法 是 一 个 好 的 选择 . 如 若 不 然 , 另 一 最 好 
的 选择 是 Broyden 方法 , 这 是 2.7.2 节 的 主题 . < 
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2.7.2 Broyden 方法 


求解 含 一 个 未 知 量 的 一 个 方程 的 Newton 方法 需要 知道 导数 . WHAM 
论 进一步 发 展 了 第 1 章 中 的 这 种 方法 , 当 导 数 不 易 获得 或 计算 太 费 力 时 可 使 用 割 
线 法 . 

既然 有 了 求解 非 线性 方程 组 F(x) = 0 的 Newton 方法 的 一 种 形式 , 我 们 面临 
着 相同 的 问题 : 如 果 Jacobi 矩阵 DF 不 能 得 到 该 如 何 呢 ? 尽管 Newton 方法 不 能 
简单 地 扩展 为 求解 方程 组 的 制 线 方法 , 但 Broydenfl 提出 了 一 种 通常 情况 下 可 被 视 
为 近似 完美 的 方法 (next best method). 

设 4i_1 是 在 步骤 i — 1 得 到 的 Jacobi 矩阵 的 最 好 近似 , 并 已 用 于 产生 


Zi = Pi_1ATNF (Ti 1). (2.48) 
为 下 一 步 把 Ai 校正 为 Ai, 我 们 宁愿 关注 Jacobi 矩阵 DF 的 导数 方面 , 满足 
Aidi ~ Ai, (2.49) 


其 中 ô; = zi — Zi-1,Ai = f(zi) — f(wi-1). 另 一 方面 , 对 6; 的 正 交 补 , 我 们 没有 新 
的 信息 . 因此 , 我 们 要 求 


Aiw = Ai-iw (2.50) 
对 每 个 w 满足 ST w = 0. 同时 满足 (2.49) 与 (2.50) 的 矩阵 是 
Ae = Aga + Bic Ae (2.51) 


此 时 (2.49) 变 成 了 
T 
Aiði = Ai_16i+ E s =A. 
(2.50) 变 成 了 
(Ai — Ai_16i)6Tw 
675: 
在 用 (2.51) 校正 近似 的 Jacobi 矩阵 时 , Broyden 方法 利用 Newton 方法 步骤 (2.48) 
改善 当前 估计 . 总 而 言 之 , 取 两 个 初始 估计 zo, zi 及 一 个 初始 近似 Jacobi 矩阵 Ao 
开始 算法 , 若 没 有 更 好 的 选择 , Ao 可 选 为 单位 矩阵 . 
Broyden 方法 I 
zo, zl = 初始 向 量 
4o= 初始 矩阵 
for i = 1,2,3--- 


ee A6 -4 166, 
Aj = Ai-1+ vate tee 


Ajw = Aj_ywt = Aj_iw. 
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Bin) =z; — Ay F (xi) 

end 

其 中 6; = zi - zi-1 并 且 A; = F(zi) — F(ai-1)- 

注意 到 正如 对 Newton 方法 那样 , 我 们 通过 求解 A;_16; = F(ai-1) 以 完成 类 
似 于 Newton 方法 的 步骤 . 尽管 这 意味 着 由 于 必须 求解 一 个 可 能 稠密 的 矩阵 方程 而 
对 很 多 个 方程 进行 的 算法 可 能 会 很 慢 , 但 有 一 个 技巧 , 使 用 QR 分 解 (在 第 4 章 中 
定义 的 ) 可 使 复杂 性 减少 至 O(n?). F] Newton 方法 一 样 , 并 不 能 保证 Broyden 方 
法 收敛 到 解 . 

第 二 种 实现 Broyden 方法 的 途径 依赖 于 这 个 事实 : (2.51) 把 A; 定义 为 Ai 
的 一 个 修正 . Bu = (Ai — Ai-16;/(676,), v = õi, WW A; = Ava +uvT. 由 于 我 们 
只 对 Aj? 感 兴趣 , 故 可 利用 Sherman-Morrison 公式 (附录 A) 得 到 直接 公式 
Ap uvt Az 
T+eTAL yu 
ara (Sfp) orah 
1467 Ap, (452% ô, ) 
(8i — Arh 6)6r Arh 

FAA 
使 用 Sherman-Morrison 公式 可 以 得 到 下 面 的 便利 , 即 A; 并 不 需要 计算 ; 可 以 通过 
W B; = Az) 进行 校正 . 改写 (2.51) 和 (2.48) 得 到 一 个 叫 Broyden 方法 II 的 算法 . 


Broyden 方法 I 
zo,zl = 初始 向 量 
Bo = 初始 矩阵 
for i =1,2,3--- 
Beason 全 -全 他 区 Bus 
Titl = Qi 一 BiF(zi) ie 
end 
其 中 6; = a; — 2-1 并 且 Ai = F(zi) — F(ai-1). 
开始 时 , 需要 两 个 初始 向 量 估计 ro, ri 与 一 个 初始 矩阵 估计 Bo. 若 不 能 计算 
导数 , 可 选择 Bo =I. 
Broyden II 的 不 足 之 处 是 不 易 得 到 在 某 些 应 用 场合 所 需 的 Jacobi 矩阵 的 估计 . 
HRE B; 是 Jacobi 矩阵 逆 的 一 个 估计 . 另 一 方面 , Broyden I 明了 A, 它 估 计 了 
Jacobi 矩阵 . 因此 , 在 一 些 范围 内 , Broyden I 和 II 被 分 别 看 作 是 “优良 的 Broyden” 


A;* = (Aj-1 +w)! = 45 一 


= A-1 
= Áa =. 


=A} 十 
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与 “ 较 差 的 Broyden”. 
Broyden 方法 的 两 种 形式 都 是 超 线性 收敛 的 (对 单 根 而 言 ), 比 Newton 方法 的 
二 次 收敛 性 慢 . 车 得 到 了 求 Jacobi 矩阵 的 公式 , 使 用 DF(zo) 的 首 往 往 可 以 加 快 
收敛 . 那么 对 于 初始 矩阵 Bo, Broyden 方法 Il 的 MATLAB 程序 如 下 : 
% Program 2.3 Broyden's Method II 
% Input: k = max steps, x0, xl initial vectors 
% Output: solution x 
% Example usage: broyden2(10, [1;2], [2;1]) 
function x=broyden2(k,x0,x1) [n,m]=size(x0); 
b=eye (n,n); % initial b 
for i=2:k 
del=x1-x0;delta=f (x1) -f (x0); 
b=b+ (del-b*delta) *del'*b/(del'*b*delta) ; 
x=x1-b*f (x1); 
x0=x1;x1l=x; 
end 


function y=f(x) 
y=zeros (2,1); 

y (1) =x(2)-x(1)*3; 

y (2) =x(1)%2+x(2)*%2-1; 


Broyden 方法 , 无 论 哪 种 形式 , 在 Jacobi 矩阵 不 可 能 得 到 的 情况 下 都 是 很 有 用 
的 . 实例 检验 7 中 的 挠 度 弯曲 模型 说 明了 这 种 情况 的 典型 例子 . 


习题 2.7 
1. 求 出 下 列 函 数 的 Jacobi 矩阵 : 
(a) F(u,v)=(u3, uv’); (b) F(u,v)=(sin uv, e%”); 
(c) F(u,v)=(u?+v?-1, (u-1)?+07-1); (d) F(u, v, w) =(u?+v—w?, sin uvw, uw), 
2. 利用 Taylor 展开 式 求 出 zo 附近 F(x) 的 线性 近似 L(x): 
(a) F(u,v) = (1+e"*?", sin(u + v)), £o = (0,0); 
(b) F(u,v) = (u + e", 2u + v), zo = (1,1). 
3. 在 uv 平面 上 画 出 两 条 曲线 的 草图 , 并 用 简单 的 代数 方法 精确 地 求 出 所 有 解 : 
V+ =l, u? + 4v? = 4, u? — 4y? = 4, 
@) { u- © { vs { (u-1? +0? =4, 
4. 对 习题 3 中 的 方程 组 应 用 Newton 方法 两 步 , 取 初始 点 (1,1). 
5. 对 习题 3 中 的 方程 组 应 用 Broyden I 两 步 , 取 初 始点 (1,1) 及 (1,2) W Ao = I. 
6. 对 习题 3 中 的 方程 组 应 用 Broyden II 两 步 , 取 初始 点 (1,1) 及 (1,2) W Ao = I. 


计算 机 问题 2.7 
1. 取 适 当 的 初始 点 , 执行 Newton 方法 , 求 出 所 有 的 解 . 用 习题 3 进行 检验 以 确保 你 的 答案 
是 正确 的 . 
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(u—1)?+v? =1; 4u? +? =4; (u-1)? +0? =4. 
2. 利用 Newton 方法 求 出 例 2.31 的 3 个 解 . 
.利用 Newton 方法 求 出 方程 组 u-v +u 二 0 和 w? 十 v? = 1 的 两 个 解 . 
4. 取 初 始 估计 zo = (1,1) 和 (1,2) 及 Ao = I, 用 Broyden I 求解 习题 3 中 的 方程 组 . 给 

出 尽 可 能 精确 的 解 及 所 需 的 步 数 . 

5, 取 初始 估计 (1, 1) 和 (1, 2) 及 Bo = I, 用 Broydent II 求解 习题 3 中 的 方程 组 . SHR 

可 能 精确 的 解 及 所 需 的 步 数 . 
软件 与 进一步 阅读 

数值 线性 代数 领域 已 有 许多 优秀 的 著作 , 包括 [12] 及 综合 性 的 论著 [5]，[3,14] 是 这 个 书 
目 中 新 增 的 两 本 ,有关 选 代 方法 讨论 的 书目 包括 [1,6,8,11,13,15,16,4]. 

LAPACK 是 一 个 综合 性 的 、 不 受 版 权限 制 的 软件 包 , 它 包含 高 质量 的 矩阵 代数 计算 程序 ， 
其 中 有 Ar = b 的 求解 、 矩 阵 分 解 及 条 件数 估计 等 方法 . 程序 都 经 过 了 细心 编写 , 可 移植 到 包 
含 共享 内 存 向 量 和 并 行 处 理 器 的 现代 计算 机 体系 结构 中 - 

LAPACK 的 可 移植 性 依赖 于 这 个 事实 : 其 算法 的 编写 最 大 限度 地 发 挥 了 基本 线性 代数 子 
程序 (Basic Linear Algebra Subprogram, BLAS) 的 用 途 . BLAS 是 基本 的 矩阵 /向 量 计算 的 
集合 , 它 可 以 在 特殊 的 机 器 和 结构 上 进行 优化 处 理 . BLAS 大 致 上 分 成 三 个 部 分 : 第 1 层 , 需 
要 像 内 积 这 样 的 O(n) 次 运算 ; 第 2 层 , 像 矩 阵 /向 量 乘法 这 样 需 O(n?) 次 运算 ; 第 3 层 , 包括 
复杂 度 为 O(n?) 的 矩阵 /矩阵 相 乘 运算 . 

LAPACK 中 利用 PA = LU 分 解 , 按 双 精度 求解 hz = b 的 一 般 稠密 矩阵 的 程序 叫做 
DGESV. 对 稀疏 和 带 状 矩 阵 还 有 其 他 的 形式 ， 可 参见 www.netlib.org/lapack 以 获得 更 多 的 
细节 .LAPACK 程序 的 实现 也 形成 了 MATLAB 和 矩阵 代数 计算 以 及 IMSL 和 NAG 软件 包 的 
基础 . 


四 pee tre 四 { u? +4v? = 4, of wu? — 4u? = 4, 


w 
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虽然 多 项 式 插 值 是 一 种 古老 的 实践 , 但 是 插值 在 重工 业 中 的 应 用 开始 于 20 世 
纪 的 三 次 样 条 . 受到 船舶 制造 和 飞机 工业 的 实践 的 启发 ,先是 在 欧洲 的 雪铁龙 工作 
的 工程 师 Paul de Casteljau 和 雷诺 的 工程 师 Pierre Bkzier, 随后 在 美国 通用 汽车 厂 
工作 的 其 他 人 , 一 起 推动 了 现在 称 为 三 次 样 条 和 Bézier 样 条 的 建立 . 

尽管 样 条 方法 发 源 于 汽车 的 空气 动力 学 研究 , 但 现在 已 在 包括 计算 机 排版 在 内 
的 许多 应 用 中 得 到 使 用 . 印刷 业 的 革命 是 由 两 位 施乐 公司 的 工程 师 引 起 的 , 他 们 在 
1984 年 创建 了 名 为 Adobe 的 公司 , 并 发 布 了 PostScript 语言 . 它 引 起 了 苹果 公司 
的 Steve Jobs 的 注意 ,当时 他 正在 寻找 控制 新 发 明 的 激光 打印 机 的 方法 ，Bézier 样 
条 采用 了 简单 的 方法 使 相同 的 数学 曲线 适应 多 种 打印 机 分 辩 率 

实例 检验 ”3.5 节 后 的 实例 检验 3 探索 了 PostScript 如 何 把 字母 构造 成 Bézier 
样 条 . 


表达 数据 的 有 效 方法 是 进一步 理解 科学 问题 的 基础 . 其 中 最 基础 的 , 通过 多 项 
式 来 近似 数据 是 一 种 数据 压缩 行为 . 假设 点 (z,y) 取 自给 定 的 函数 y = f(z) 或 者 
取 自 实验 , 这 里 z 表示 温度 而 y 表示 反应 速度 . 实数 上 的 函数 代表 无 穷 多 的 信息 
量 . 通过 这 组 数据 求 多 项 式 就 是 用 可 以 在 有 限 步 内 求 出 结果 的 规则 来 代替 这 种 信 
息 . 尽管 期 待 这 种 多 项 式 在 新 输入 的 z 处 准确 地 代表 函数 是 不 现实 的 , 但 是 它 可 以 
充分 接近 地 求解 实际 问题 . 

本 章 介绍 多 项 式 插值 和 样 条 插值 , 使 用 它们 便于 寻求 通过 给 定数 据点 的 函数 . 


3.1 ”数据 和 插值 函数 


如 果 一 个 函数 通过 一 组 数据 点 , 那么 就 称 这 个 函数 插值 了 这 组 数据 点 . 假设 我 
们 收集 了 一 组 数据 点 (x,y), SMI (0, 1), (2, 2), (3, 4). 如 图 3-1 所 示 , 有 一 条 经 过 
这 3 点 的 抛物 线 . 我 们 把 这 条 抛物 线 称 为 经 过 这 3 点 的 二 次 插值 多 项 式 . 

定义 3.1 如 果 P(zi) =yi(l <i<n), 那么 函数 y =P(z) 插 值 了 数据 点 


(21,91), > (En Yn). 


注意 , BOR P 是 一 个 函数 , 即 对 每 一 个 z 值 都 有 对 应 的 单个 值 y. 这 在 能 被 插 
值 的 数据 点 {(zi,w)} 上 加 了 一 种 限制 一 为 了 使 函数 经 过 这 些 数据 点 , xi 必须 都 
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是 不 同 的 . 关于 yi 却 没有 这 种 限制 . 


图 3-1 “抛物线 插值 : 用 函数 P(z) = dn? - 3z 十 1 对 点 (0, 1), (2, 2), 
(3, 4) 进行 插值 


亮点 复杂 性 

我 们 为 什么 用 多 项 式 ? 多 项 式 经 常 应 用 于 插值 是 由 于 其 简单 明了 的 
数学 性 质 . 对 于 一 组 给 定 的 点 , 有 一 个 简单 的 原理 可 以 说 明 , 什么 时 候 存 
在 给 定 次 数 的 插值 多 项 式 . 更 重要 的 是 , 在 实际 意义 上 , 多 项 式 是 数字 计 
算 机 最 基本 的 函数 .中 央 处 理 单元 在 硬件 上 对 于 浮 点 数 的 加 法 和 乘法 一 
般 都 有 快速 方法 , 而 这 正 是 计算 多 项 式 所 需要 的 运算 . 可 以 用 插值 多 项 式 
来 近似 复杂 函数 , 这 样 使 用 这 两 种 硬件 运算 就 可 以 计算 出 它们 . 


作为 开始 , 我 们 将 寻求 插值 多 项 式 、 这 种 多 项 式 永远 都 存在 吗 ? 假设 点 的 z 
坐标 都 不 同 , 则 回答 是 肯定 的 . 不 论 给 定 多 少 点 , 总 存在 经 过 所 有 点 的 某 一 多 项 式 
y = P(z). 本 节 证 明 关于 插值 多 项 式 的 这 个 事实 以 及 其 他 若干 事实 . 

插值 与 计算 相反 . 在 多 项 式 计算 时 ( 璧 如 第 0 REP RETA), 往往 会 给 定 一 
个 多 项 式 , 要 求 对 给 定 的 z 值 计算 y 值 , 即 计算 落 在 曲线 上 的 点 . 多 项 式 插值 要 求 
相反 的 过 程 : 给 定 这 些 点 , 计算 能 生成 它们 的 多 项 式 . 


3.1.1 Lagrange 插值 


假设 给 定 ”个 数据 点 (01, yj)，…… (En Yn), 我 们 想 要 求 出 一 个 插值 多 项 式 . 为 
了 写 出 在 这 些 点 插值 的 次 数 是 d = n 一 1 的 多 项 式 , 可 以 使 用 一 个 称 为 Lagrange 插 
值 公式 的 显 式 公式 . 例如 , 假设 给 定点 (11,41), (z2,y2), (v3, ys), 那么 多 项 式 


(2 — x2)(7 — zs) (z—21)( — 73) (z — 21)(@ — 12) ) 


Rls) = (zr1—Z2)(z1—73) “(z2— zi)(z2 —z3) “(z3 — 21) (a3 — 12) St 


就 是 关于 这 些 点 的 Lagrange 插值 多 项 式 . 首先 注意 为 什么 所 有 这 些 点 都 落 在 这 
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条 多 项 式 曲线 上 . 当 z 用 ri 代入 时 , 各 项 计算 得 yy +0+0=y. 当 zl RAB, 
第 二 项 和 第 三 项 的 分 子 变 成 零 , 而 第 一 项 的 分 子 刚好 等 于 分 母 , 因此 结果 为 yy. 在 
代入 ra 和 za 时 也 是 类 似 的 . 在 用 任何 其 他 数 代入 z 时 , 我 们 几乎 不 能 控制 其 结 
R. 但 是 , 我 们 的 任务 仅仅 是 在 这 3 个 点 插值 一 这 是 我 们 关心 的 范围 . 其 次 , 注意 
多 项 式 (3.1) 关于 变量 > 是 2 次 的 . 
例 3.1 为 图 3-1 中 的 数据 点 (0, 1), (2, 2), (3, 4) 寻找 一 个 插值 多 项 式 . 
代入 Lagrange 公式 (3.1) 得 到 


_iGC-ac-3a vc-oz-a -oz-a 
-106=30- 可 +20-00- 引 +4G6 二 56 二 可 


= Be so+0)+2(- Je -3+4 (5) e- 2z) 


igri 
= 52 -27+1. 


检验 得 P2(0) = 1, P(2) = 2, Po(3) = 4. < 
一 般 地 , 假设 给 出 n 个 点 (21,01), , (zn,yn), 则 对 于 1 和 nn 之 间 的 每 一 个 
可 定义 
(€ — 21) +- (2 — Th)(Z — te41) +++ (£ — Zn) 
(Zk ~ 21) ++: (Ek — Tk-1) (Tk — Tk41) ++ (Tk — Fn)" 
Lk 的 有 趣 性 质 是 Lk(zk) =1 而 Lk(z;) = 0, 其 中 z; 是 其 他 任何 数据 点 , 然后 
定义 n 一 1 次 多 项 式 


Ly(x) = 


Pr-1(2) = yı L1 (2) +--+ + ynLn(z). 
这 是 (3.1) 中 多 项 式 的 直接 一 般 化 , 而 且 作用 方式 相同 . 把 zk 代替 z, 得 到 
Pn_1(zk) = yrLa (tk) + + YnLn(Zk) =0 +--+ 0+ ykLk(Tk) +04- +0 = yp, 


所 以 它 的 功能 如 所 设计 的 . 

我 们 已 经 构造 了 经 过 不 同 zi 的 任何 n 个 点 的 最 高 为 n 一 1 次 的 多 项 式 . 有 趣 
的 是 , 它 仅 有 一 个 . 

定理 3.2 (多 项 式 插值 的 主要 定理 ) H (z1,t),… , (En Yn) 是 平面 上 zi 互 
不 相同 的 n 个 点 , 那么 存在 一 个 而 且 仅 存在 一 个 次 数 小 于 等 于 n-1 次 的 多 项 式 ， 
满足 Plr) = yi,i= 1,.… ,nn 

证 存在 性 由 Lagrange 插值 的 显 式 公式 得 出 . 为 了 证 明 仅 有 一 个 , 可 先 假设 
gh 璧 如 P(z) 及 Q(z), 它们 最 多 是 n 一 1 次 , 而 且 都 插值 所 有 n 个 点 ， 即 假 

HR, P(zi) = Q(21) = yı, P(z2) = Q(za) = y2, ++: ,P(tn) = Q(zn) = yn. 现在 定义 
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新 的 多 项 式 H(z) = ae? Q(z). 显然 , H 的 次 数 也 最 多 是 nn 一 1 次 ,而 且 注意 到 
0 = H(z1) = 有 H(z2) =… = Hen), P H A n 个 不 同 的 零点 按照 代数 学 基本 定 
理 , 一 个 d 次 多 项 式 , 除了 它 恒 等 于 零 多 项 式 , 最 多 可 能 有 d 个 零点 . 因此 , H AE 
等 于 零 多 项 式 , 于 是 P(z) = Q(z). 由 此 我 们 得 到 结论 : 存在 唯一 的 次 数 小 于 等 于 
n 一 1 的 多 项 式 P(z) 插值 于 n 个 点 (zi yi). 
例 3.2 求 插值 于 点 (0, 2), (1, 1), (2, 0), (3, —1) 的 次 数 小 于 等 于 3 的 多 项 式 . 
Lagrange 形式 如 下 : 
z— 1)(z— 2)(z—3, z —0)(z — 2)(z -3 
Pte) =a oat ee 
(z -0)(z-1)(z-3) _ (z -0)(z-1)(z-2) 
(2—0)(2—1)(2—3) ~~ (3—0)(3—1)(3— 2) 


1 
=-3(2 — 6z? + 11x — 6) + e — 5x? + 6x) 一 ca — 3x? + 2x) 
=-2+2. 


定理 3.2 说 明 , 恰好 存在 一 个 次 数 小 于 等 于 3 的 插值 多 项 式 , 但 是 它 可 能 恰好 
是 3 次 也 可 能 不 是 3 次 . 在 例 3.2 中 , 数据 点 共 线 , 因此 插值 多 项 式 是 一 次 的 . 定 
理 3.2 意味 着 不 存在 2 次 或 3 次 的 插值 多 项 式 . 或 许 没 有 抛物 线 或 立方 曲线 可 以 
经 过 4 个 共 线 的 点 在 直觉 上 已 经 很 明显 , 但 是 这 里 才 提 供 其 原因 . < 


3.1.2 Newton 均 差 


如 3.1.1 节 所 述 , 使 用 Lagrange 插值 方法 , 可 以 构造 出 由 定理 3.2 所 预示 的 唯 
一 的 多 项 式 . 它 也 是 直观 的 , 只 看 一 眼 就 可 解释 它 为 什么 起 作用 . 然而 很 少 用 它 来 
计算 , 这 是 因为 替代 方法 更 具 操 作 性 而 且 是 在 计算 上 复杂 程度 更 低 的 形式 . 

Newton 均 差 对 写 出 插值 多 项 式 给 出 了 特别 简单 的 方式 . 给 定 n 个 数据 点 , 其 
结果 将 是 最 多 n 一 1 次 的 多 项 式 , 这 恰 如 Lagrange 形式 所 具有 的 那样 . 定理 3.2 表 
明 它 可 能 不 外 乎 是 与 Lagrange 插值 多 项 式 一 样 , 写成 了 更 一 般 的 形式 . 

均 差 的 概念 相当 简单 , 但 是 某 些 记号 首先 需要 掌握 . 把 数据 点 看 作 由 某 个 函数 
f 给 出 , 并 把 数据 点 列 成 下 表 : 


zı | f(z) 
z2 | f(x2) 
zn | f(zn) 


现在 定义 都 是 实数 的 均 差 
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flzx]= f(zx), 
了 [zk zk+H] 一 LE = 


Tent zkhta 一 了 [zk Zer) 
Tk+2 — Tk , (3.2) 
flzk+1 Tk+2 Tra] 一 了 [zk Tkt1 Tk+2] 
Tk+3 — Tk , 


等 等 . 这 些 数 是 关于 这 些 数据 点 的 插值 多 项 式 的 系数 . 插值 多 项 式 由 Newton 
均 差 公式 给 出 : 


P(x) = flzi] +flz1 z2](z — 21) 
+f[lz1 za za](z — z1)(2 — x2) 
+f[z1 za za z4](2 — 21)(x — 12)(£ — x3) (3.3) 
+e 
+f (zi + En](2 — 21) +: (2 — zn-1). 


Flite k+ Te+2] = 


flzk Zk+1 Te+2 Tk+3]= 


3.2.2 节 给 出 了 这 个 多 项 式 插值 ”个 数据 点 这 个 事实 的 证 明 ， 注 意 , 均 差 公 
式 给 出 了 一 个 与 嵌 套 多 项 式 一 样 的 插值 多 项 式 ， 它 自动 准备 好 用 有 效 的 方法 进行 
计算 . 
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Newton 均 差 的 递归 定义 使 得 排列 成 为 一 个 方便 的 表格 . 对 于 3 个 点 , 该 表格 
的 形式 为 


Tı fiz] 
flz1 z2) 

z2 | flez] flz1 za z3] 
flz2 za] 

za | fles] 


多 项 式 (3.8) 的 系数 可 以 从 三 角形 的 项 边 读 出 . 
例 3.3 ”利用 均 差 求 通过 点 (0, 1), (2, 2), (3, 4) 的 插值 多 项 式 . 
应 用 均 差 的 定义 导出 下 表 : 


0 | 1 
1 
2 

2/2 3 
2 

3 | 4 


这 张 表格 的 计算 如 下 : 在 分 开 的 列 写 下 z 和 y 坐标 之 后 , 像 (3.2) 那样 从 左 到 右 计 
算 下 一 列 . 例如 ， 


在 完成 均 差 三 角形 后 , 从 这 个 三 角形 的 项 边 就 能 读 出 这 个 多 项 式 的 系数 1, 3, 1. 
插值 多 项 式 可 以 写成 


Pa) =1+3(—0)+ je-0e-2 
RES RRL 
P(z)=1+(z-0) (5+@-2-3). 


ACRE ( 见 第 0 章 ) 是 71=0 及 ro=2. 另 一 方面 , 我 们 可 以 做 更 多 的 代数 ， 
从 而 把 插值 多 项 式 写成 


1 1 i. 1 
P(2)=1+ 52+ 52(@—2) = 52 grth 
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它 与 前 述 Lagrange 插值 形式 相 匹配 . < 

利用 均 差 方法 , 在 计算 原来 的 插值 多 项 式 之 后 新 加 入 的 数据 点 可 以 很 容易 加 
上 去 . 

Bl 3.4 ZEB 3.3 的 表格 中 加 入 第 4 个 数据 点 (1, 0). 

我 们 可 以 保留 已 做 的 计算 , 并 且 仅 需 给 三 角形 加 上 一 条 新 的 底 边 : 


iS) 
Y 
Y ve 
ne 
| 
wie 


结果 是 对 原 多 项 式 P1) 加 上 新 的 项 . 从 这 个 三 角形 的 顶 边 读 出 , 我 们 看 到 新 的 三 
次 插值 多 项 式 是 


P(t) =1+ Fe —0) + 5(2 —0)(2~2) -$e (2 — 2)(z - 3). 


注意 P3(x) = P2(x) — }(a 一 0)(z 一 2)(z — 3), 所 以 前 一 个 多 项 式 可 以 重新 用 作 新 的 
多 项 式 的 一 部 分 . a 

加 入 一 个 新 的 点 到 Lagrange 公式 所 需要 的 额外 工作 与 均 差 公 式 进 行 比 较 是 很 
有 趣 的 . 在 加 入 一 个 新 的 点 时 , Lagrange 多 项 式 必须 重新 开始 , 以 前 的 计算 都 不 能 
用 . 但 是 另 一 方面 , 对 于 均 差 形式 , 我 们 保留 早先 的 工作 , 只 要 把 新 的 一 项 加 到 多 项 
A. 因此 , 均 差 方法 具有 Lagrange 方法 所 缺少 的 “实时 更 新 ” 的 性 质 . 在 习题 15 中 
比较 了 Lagrange 型 与 均 差 型 插值 的 运算 次 数 . 

例 3.5 ”用 Newton 均 差 公式 , RAL (0, 2), (1, 1), (2, 0), (3, —1) 的 插值 多 
项 式 . 均 差 三 角形 是 
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读 出 系数 , 我 们 求 得 次 数 小 于 等 于 3 次 的 插值 多 项 式 是 
P(x)=2+(-1)(z -0)=2—z. 


这 与 例 3.2 相 一 致 , 但 用 了 少 得 多 的 工作 量 . < 
3.13 ”经 过 nn 个 点 的 d 次 多 项 式 有 多 少 个 


WMR 0 < d < n 一 1, 那么 多 项 式 插值 的 主要 定理 ( 即 定理 3.2) 回答 了 这 个 问 
题 . 给 定 n = 3 个 点 (0, 1), (2, 2), (3, 4), 存在 一 个 次 数 小 于 等 于 2 的 插值 多 项 式 ， 
例 3.1 说 明 它 是 二 次 , 因此 不 存在 零 次 或 一 次 插值 多 项 式 经 过 这 3 个 数据 点 . 

有 多 少 个 三 次 多 项 式 插值 这 3 个 相同 的 点 ? 从 前 面 的 讨论 可 知 , 构造 这 种 多 项 
式 的 方法 是 明确 的 : 加 上 第 4 个 点 , 扩充 Newton 均 差 三 角形 给 出 新 的 最 高 次 项 系 
数 , 在 例 3.4 中 加 进 了 点 (1, 0). 结果 得 到 的 多 项 式 是 


P3(x) = P2(x) 一 HG —0)(z — 2)(z — 3), (3.4) 


它 既 经 过 问题 中 的 3 个 点 , 还 经 过 新 的 点 (1, 0), 因此 至 少 有 一 个 三 次 多 项 式 经 过 
原来 的 3 个 点 (0, 1), (2, 2), (3, 4). 

当然 , 我 们 有 许多 不 同 的 方法 选择 第 4 个 点 . 例如 , 如 果 我 们 保持 相同 的 z4 = 1, 
而 简单 地 改变 y 让 它 不 再 等 于 0, 由 于 函数 在 z4 处 只 能 经 过 一 个 我 们 必定 得 到 
一 个 不 同 的 三 次 插值 多 项 式 . 现在 我 们 知道 , 有 无 穷 多 个 在 3 点 (21,41), (x2, 42), 
(zs,ys) 插值 的 多 项 式 , 这 是 因为 对 于 固定 的 z4,ys 有 无 穷 多 种 选取 方式 , 而 每 一 
种 选取 都 给 出 了 不 同 的 多 项 式 ， 这 种 想法 表明 : 给 定 ri 互 不 相同 的 n 个 数据 点 
(inyi) 有 无 穷 多 个 经 过 它们 的 n 次 多 项 式 . 

再 次 观察 (3.4) R, 使 人 想到 建立 经 过 3 个 点 的 插值 多 项 式 的 更 直接 的 方法 . 
代替 加 上 第 4 个 点 产生 新 的 三 次 项 系数 , 为 什么 不 就 写 一 个 新 的 系数 ? 结果 还 在 原 
来 3 个 点 插值 吗 ? 回答 是 肯定 的 , 这 是 因为 P(e) 在 原来 的 3 个 点 插值 , 而 新 的 项 
在 zi, zz, zs 取 值 为 零 . 所 以 , 实在 不 需要 构造 额外 的 Newton WH. 形式 为 


P3(x) = P2(x) + cx(x — 2)(z — 3) 


(其 中 c #0) 的 三 次 多 项 式 将 经 过 (0, 1), (2, 2), (3, 4). 如 在 下 例 中 叙述 的 , 这 种 技 
巧 也 将 容易 构造 (无 穷 多 个 ) 关于 n 个 给 定数 据点 的 次 数 大 于 等 于 n 的 多 项 式 . 
例 3.6 ”有 多 少 个 次 数 0 < d <5 的 多 项 式 经 过 数据 点 (—1,—5), (0, 一 1), (2, 
1), (3, 11)? 
Newton 均 差 三 角形 是 
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一 工 =% 
4 
0 -1 =1 
1 1 
2 1 3 
10 
3 11 


所 以 没有 零 次 、 一 次 或 二 次 插值 多 项 式 , 而 唯一 的 三 次 插值 多 项 式 是 
P3(z) = —5 +4(z + 1) — (z + 1)z + (z + 1)z(z — 2). 
有 无 穷 多 个 四 次 插值 多 项 式 


Pa(z) = Ps(x) + x(x + 1)z(z — 2)(@ — 3),c1 #0 


以 及 无 穷 多 个 五 次 插值 多 项 式 
Ps(z) = P3(x) + co(x + 1)2?(x — 2)(x — 3), c2 #0. < 
3.1.4 ”插值 编码 


计算 系数 的 MATLAB 程 序 newtdd.m 如 下 : 


%Program 3.1 Newton Divided Difference Interpolation Method 
%Computes coefficients of interpolating polynomial 

%Input: x and y are vectors containing the x and y coordinates 
$ of the n data points 

%Output : coefficients c of interpolating polynomial in nested form 
%Use with nest.m to evaluate interpolating polynomial 

function c=newtdd(x,y,n) 


for j=1:n 

v(j.1)=y (j); % Fill in y column of Newton triangle 
end 
for i= % For column i, 


for % fill in column from top to bottom 
vj i)=(v(j+1,i-1)-v(j,i~-1))/(x(j+i-1)-x(j)); 
end 
end 
for i=lin 
c(i)=v(1,i); ` % Read along top of triangle 
end % for output coefficients 


这 段 程序 可 以 应 用 于 例 3.3 中 的 数据 点 , 以 返回 上 面 求 得 的 系数 1, 5, 5. 可 以 
把 这 些 系 数 用 于 菊 套 乘法 程序 中 以 计算 在 不 同 的 z 值 处 的 插值 多 项 式 . 
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例如 , MATLAB 代 码 段 
x0=[0 2 3]; 


yO=[1 2 4]; 
c=newtdd (x0,y0,3); 


x=0:.01:4; 
y=nest (2,c,x,x0); 
plot (x0,y0,'0',x,y) 


将 得 到 如 图 3-1 所 示 的 多 项 式 曲 线 . 

现在 有 了 求 插值 多 项 式 的 系数 (newtad.m) 以 及 计算 多 项 式 (nest.nm) 的 
MATLAB 代码 , 可 以 把 它们 放 在 一 起 建立 一 种 多 项 式 插值 程序 . 程序 clickinterp.m 
应 用 Matias 的 绘图 能 力 在 产生 插值 多 项 式 时 就 把 它 绘制 出 来 . 见 图 3-2. MATLAB 
的 鼠标 输入 命令 ginput 用 于 简化 数据 输入 . 


图 3-2 用 鼠标 输入 的 插值 程序 3.2: 带 4 个 输入 数据 点 的 MATLAB 代 
码 clickinterp.m 的 屏幕 截图 


%Program 3.2. clickinterp.m Polynomial Interpolation Program 
‘Left click in MATLAB figure window to locate data point. 

% Continue, to add more points. 

% Right-click to terminate program. 

x1l=-3;xr=3 ;yb=-3;yt=3; 

plot ([x1 xr],[0 0],'k',[0 0], [yb yt),'k');grid on; 
xlist=[];ylist=[]; 


button=1;k=0 % initialize counter k 


while(button ~= 3) $% if right click, terminate 
[xnew,ynew, button] = ginput (1); % get one mouse click 
if button == % current click is a left click 
k=k+1; % k counts clicks 


xlist (k)=xnew; ylist(k)=ynew; % add new point to the list 
c=newtdd(xlist,ylist,k); % get interpolation coeffs 
x=xl:.01:xr; % define x coordinates of curve 
Y=nest (k-1,c,x,xlist); % get y coordinates of curve 
plot (xlist,ylist,‘'o',x,y, [xl xr],{0,0],'k', [0 0], (yb yt],'k?; 
axis({xl xr yb yt]);grid on; 
end 
end 
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亮点 ”压缩 

这 是 我 们 第 一 次 遇 到 数值 分 析 中 压缩 (compression) 的 概念 . 首先 , 插 
值 可 以 不 看 作 压 缩 . 毕竟 我 们 把 个 点 当 作 输 入 , 而 提供 插值 多 项 式 的 n 
个 系数 作为 输出 . 那么 压缩 了 什么 ? A 

把 数据 点 想象 成 譬如 曲线 y = f(z) 上 的 许多 点 的 代表 . 由 n 个 系数 
决定 的 n 一 1 次 多 项 式 就 是 f(z) 的 一 种 “压缩 形式 ”, 而 在 某 些 情形 下 , 为 
了 计算 目的 可 以 用 作 f(z) 的 相当 简单 的 代表 . 

例如 , 在 按 下 计算 器 的 正弦 按钮 时 , 会 发 生 什么 ? 计算 器 有 硬件 进行 
加 法 和 乘法 , 但 是 它 如 何 计算 一 个 数 的 正弦 ? 运算 必须 设法 减少 为 恰好 需 
要 那些 运算 的 多 项 式 计算 . 通过 选择 落 在 正弦 曲线 上 的 数据 点 , 就 能 计算 
出 插值 多 项 式 并 且 作 为 正弦 函数 的 压缩 形式 存储 在 计算 器 内 . 

这 一 类 压缩 是 “有 损 压 缩 ", 即 它 会 产生 误差 , 这 是 因为 正弦 函数 并 不 
是 精确 地 等 于 多 项 式 . 当 函 数 f(z) 用 插值 多 项 式 代替 时 会 产生 多 大 的 误 
差 , 这 是 3.1.5 节 的 内 容 . 


3.1.5 “用 近似 多 项 式 表示 函数 


多 项 式 插值 的 主要 用 处 是 通过 计算 多 项 式 来 代替 计算 复杂 函数 , 而 计算 多 项 式 
仅仅 包括 诸如 加 法 、 减法 及 乘法 这 些 基本 的 计算 机 运算 . 把 它 理解 成 一 种 压缩 的 形 


式 : 用 某 些 简单 而 且 可 计算 的 东西 来 代替 某 些 复杂 的 东西 , 在 这 个 过 程 
们 将 必须 进行 分 析 的 某 些 精 度 损失 . 我 们 从 三 角 学 的 一 个 例子 开始 . 
例 3.7 在 [0, 姑 中 的 4 个 等 距 点 上 插值 函数 f(z) = sin z. 


hb 或 许 有 我 


我 们 在 (0, 3) 上 压缩 正弦 函数 . 在 等 距 点 取 4 个 数据 点 并 且 形 成 均 差 三 角形 . 


我 们 列 出 准确 到 4 位 的 值 . 


0 | 0.0000 
0.954 9 
z | 0.5000 —0.244 3 
0.669 1 —0.113 9 
% | 0.866 0 一 0.423 2 
0.255 9 


加 


等 | 1.0000 


因此 , 三 次 插值 多 项 式 是 


Pa(z) = 0 + 0.954 9z — 0.244 3x (= = 5) — 0.113 9z (= = z) (= -& 


6 
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=0+2 (0.9549 + ( -3) (-0.2443+ (2-3) 


(-0.113 9))) . (35) 


这 个 多 项 式 与 正弦 函数 一 起 在 图 3-3 中 给 出 . 在 这 种 分 辩 率 下 , P(z) 与 sinz 


在 区 间 [0,3] 中 事实 上 没有 区 别 . 我 们 已 把 正弦 曲线 无 穷 多 的 
个 系数 以 及 在 (3.5) 中 执行 3 次 加 法 和 3 次 乘法 了 . 


信息 量 压缩 成 存储 几 


< 


图 3-3 sin z 的 3 次 插值: 沿 着 y = sins 画 出 插值 多 项 式 ( 实 曲 线 )， 
等 距 插值 节点 是 0,#, 2 及 SS. 在 0 和 之 间 插 值 多 项 式 近 似 


得 非常 好 


在 计算 器 上 设计 的 正弦 键 的 功能 有 多 近似 ? 当然 我 们 需要 处 理 来 自 整个 实 轴 
的 输入 . 但 是 由 于 正弦 函数 的 对 称 性 , 我 们 已 做 了 其 中 最 佳 的 部 分 . 区 间 [0, 引 是 


正弦 的 所 谓 的 基本 定义 域 (fundamental domain), 即 任何 其 他 | 


区 间 的 输入 都 能 够 转 


变 成 它 . 璧 如 从 [F, 可 中 给 定 输入 z, 因为 正弦 关于 z = 3 对称 , 所 以 可 以 把 sins 


计算 成 sin(a — x). 从 (x, 20] 中 给 定 输入 r, 由 于 关于 z = 


zt 的 反对 称 性 , 所 以 


sing = 一 sin(2x 一 z). 最 后 , 因为 在 经 过 整个 实 轴 时 正弦 重复 它 在 区 间 [0, 20] 中 的 


性 态 , 所 以 对 任何 输入 , 可 以 先 约 去 模 On 再 进行 计算 . 这 就 导 
当 的 设计 . 


出 对 正弦 键 的 直接 了 


%Program 3.3 Building a sin calculator key, attempt #1 


tApproximates sin curve with degree 3 polynomia: 


多 (Caution: do not use to build bridges, 
多 at least until we have discussed accuracy 
$input: x 


%Output: approximation for sin(x) 
function y=sinl (x) 


1 


+) 


%First calculate the interpolating polynomial and 


% store coefficients 


b=pi* (0:3) /6;yb=sin(b) ; % b holds base points 


c=newtdd(b,yb,4); 


%For each input x, move x to the fundamental domain and evaluate 


% the interpolating polynomial 


s=1; % Correct the sign of sin 


x1=mod(x,2*pi); 
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if xlopi 
xl = 2*pi-xl1; 
s = -1; 

end 

if xl > pi/2 
xl = pi-xl; 

end 

y = s*nest (3,c,x1,b); 


程序 3.3 中 的 大 多 数 工作 是 把 z 放置 到 基本 定义 域 . Ris RIOR eH 


次 多 项 式 , 表 3-1 是 来 自 程序 3.3 的 一 些 典型 的 输出 . 对 于 第 一 次 尝试 , 这 个 结果 并 
不 差 . 误差 一 般 在 1% 以 下 , 为 了 得 到 足够 准确 的 数字 来 填 满 计算 器 的 数字 显示 屏 ， 
我 们 需要 对 插值 误差 懂得 更 多 一 些 , 这 是 3.2 节 的 内 容 . 


表 3-1 

z sinz Py(z) 误差 
1 0.841 5 0.841 1 0.000 4 
2 0.909 3 0.9102 0.000 9 
3 0.141 1 0.1428 0.0017 
4 —0.756 8 一 0.755 7 0.001 1 
14 0.990 6 0.992 8 0.002 2 
1 000 0.826 9 0.826 3 0.000 6 


习题 3.1 


1. 


_ 


用 Lagrange 插值 求 经 过 下 列 各 点 的 多 项 式 . 
(a) (0, 1), (2, 3), (3, 0); 

(b) (—1, 0), (2, 1), (3, 1), (5, 2); 

(c) (0, —2), (2, 1), (4, 4); 


.用 Newton 均 差 求 习 题 1 中 各 点 的 插值 多 项 式 ， 并 检验 与 Lagrange 插值 多 项 式 是 否 


一 致 


经 过 4 个 点 (一 1, 3), (1, 1), (2, 3), (3, 7) 的 d 次 多 项 式 有 多 少 个 ? 如 果 可 能 的 话 ， 写 出 


—^ (a) d = 2; (b) d= 3; (c) d=6. 


. (a) 求 曲线 经 过 点 (0, 0), (1, 1), (2, 2), (3, 7) 的 次 数 小 于 等 于 3 的 多 项 式 P(x)? (b) R 


另外 两 个 (任意 次 的 ) 经 过 这 4 个 点 的 多 项 式 .(c) 确定 是 否 存在 通过 点 (0, 0), (1, 1), 
(2, 2), (3, 7), (4, 2) 的 次 数 小 于 等 于 3 的 多 项 式 P(x). 


. (a) 求 曲线 经 过 4 个 数据 点 (一 2, 8), (0, 4), (1, 2), (3, 一 2) 的 次 数 小 于 等 于 3 的 多 项 式 


P(z).(b) 描述 经 过 (a) 中 4 个 点 的 任何 次 数 小 于 等 于 4 的 其 他 多 项 式 . 


。 写 出 在 4 个 点 (1, 1), (2, 3), (3, 3), (4, 4) 插值 的 次 数 恰 为 5 的 多 项 式 . 
. 求 P(0), 这 里 P(x) 是 一 个 10 次 多 项 式 , 其 零点 是 z = 1,… ,10 而 且 满足 P(12) = 44. 
. 设 P(z) 是 一 个 9 次 多 项 式 , HE z = 1 处 取 值 112, 在 z = 10 处 取 值 2, 而 在 


z = 2,… ,9 处 都 等 于 零 . 计算 P(0). 
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12. 
13. 


14. 


15. 


. 给 出 下 述 的 例子 或 者 解释 为 什么 不 存在 这 样 的 例子 ，(a) Æ z = 1, 2, 3, 4, 5, 6 处 等 于 


$, 在 r= 7 处 等 于 10 的 6 次 多 项 式 L(x). (b) 在 > = 1, 2, 3, 4, 5, 6 处 等 于 零 ,在 
z= 7 处 等 于 10, 在 z = 8 处 等 于 70 的 6 次 多 项 式 L(z). 


. 设 P(x) 是 在 z=1, 2, 3, 4, 5 处 取 值 为 10, 在 > = 6 处 取 值 15 的 5 次 多 项 式 . K P(7). 
. BP, Pa, Ps, Pa 是 落 在 抛物 线 y = ax? + bz +c 上 的 4 个 不 同 的 点 . 经 过 这 4 个 点 的 


三 次 多 项 式 有 多 少 个 ? 对 你 的 答案 作出 解释 . 

三 次 多 项 式 可 能 与 四 次 多 项 式 恰好 交 于 5 个 点 吗 ? 解释 之 . 

地 球 大 气 层 中 估计 的 二 氧化 碳 平均 大 气 浓度 由 表 3-2 给 出 (体积 浓度 , 百 万 分 率 ). 求 这 
些 数据 的 三 次 插值 多 项 式 , 并 用 它 来 估计 (a)1950 年 (b) 2050 年 的 二 氧化 碳 浓度 (1950 
年 的 实际 浓度 是 310ppm) 


表 3-2 
年 CO2(ppm) 
1800 280 
1850 283 
1900 291 
2000 370 


当 工 业 风 肩 在 以 下 列 出 的 温度 运转 时 , 预期 使 用 期 限 如 表 3-3 所 示 . 通过 以 下 方法 估计 
在 70°C 时 的 使 用 期 限 . (a) 使 用 经 过 最 后 3 个 数据 点 的 抛物 线 . (b) 使 用 经 过 全 部 4 个 
点 的 三 次 曲线 . 


表 3-3 
温度 (°C) 小 时 (x1 000) 
25 95 
40 75 
50 63 
60 54 


分 别 用 (a) Lagrange 形式 (b) Newton 均 差 形式 计算 经 过 n 个 数据 点 的 插值 多 项 式 所 需 
要 的 乘法 和 加 法 次 数 (用 嵌 套 乘法 计算 ). 


计算 机 问题 3.1 


1. 


FA 3-4 中 的 世界 人 口 统计 数字 估计 1980 年 的 人 口 , 采用 (a) 经 过 1970 年 和 1990 年 
估计 值 的 直线 , (b) 经 过 1960 年 、1970 年 及 1990 年 估计 值 的 抛物 线 ,(c) 经 过 全 部 4 个 
数据 点 的 三 次 曲线 . 并 与 1980 年 的 估计 值 4 452 584 592 进行 比较 . 


表 3-4 
年 AG 
1960 3 039 585 530 
1970 3 707 475 887 
1990 5 281 653 820 


2000 6 079 603 571 
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2. 车 输入 x 与 y 是 数据 点 的 长 度 相等 的 向 量 , 而 输出 是 插值 多 项 式 的 曲线 , 写 出 程序 3.2 的 

MATLAB 函 数 形式 . 用 这 种 方式 , 输入 这 些 点 能 够 比 鼠 标 输入 更 精确 . 通过 复制 图 3-2 来 

检验 你 的 程序 . 

取 一 组 插值 点 (z,y), 以 及 另 一 个 zo 和 输出 yo( 插 值 多 项 式 在 zo 处 的 值 ) 作为 输入 , 写 出 

MATLAB 函 数 polyinterp.m. 文件 的 第 一 行 应 该 是 function yo=polyinterp(x,y,xo), 

这 里 x 和 y 是 数据 点 的 输入 向 量 ， 根 据 程序 3.1, 你 的 函数 可 叫 作 newtad, 或 者 根据 第 0 

章 可 称 为 nest, 可 以 类 似 于 程序 3.2 构造 出 来 , 但 是 没有 图 形 . 演示 你 的 函数 的 功能 . 

4. 改变 程序 3.3 中 的 sin1 计 算 器 键 , 建立 cos1 键 , 这 是 遵循 相同 原理 的 余弦 键 . 首先 确定 余 
弦 的 基本 定义 域 . 

. (a) 用 正弦 和 余弦 的 加 法 公式 证 明 tan(# — z) = zh; (b) 证 明 [0, 3] 可 以 作为 tan s 
的 基本 定义 域 ; (c) 按照 程序 3.3 的 原理 , 在 这 个 基本 定义 域 上 采用 三 次 插值 多 项 式 来 设 
计 正 切 键 ; (d) 根据 经 验 计算 正切 键 在 [0, 引 中 的 最 大 误差. 


3.2 插值 误差 


正弦 计算 器 键 的 精度 依赖 于 图 3-3 中 的 近似 , 它 有 多 接近 ? 我 们 曾 给 出 过 表明 
这 种 情形 的 表格 . 对 于 某 些 示例 而 言 , 前 面 两 个 数字 是 完全 可 靠 的 , 但 是 后 面 的 数 
字 并 不 总 是 正确 ， 在 这 一 节 , 我 们 将 研究 度量 这 种 误差 的 方法 以 及 确定 如 何 使 它 
更 小 . 
3.2.1 ”插值 误差 公式 

假设 我 们 从 函数 y = f(z) WR, 并 且 从 它 取出 数据 点 来 构造 插值 多 项 式 P(x), 
就 像 我 们 在 例 3.7 中 对 f(z) = sins 所 做 的 那样 . 在 z 处 的 插值 误差 (interpolation 
error) 是 f(x) — P(z), 即 在 > 处 计算 提供 数据 点 的 原 函 数 与 插值 多 项 式 的 差 . 插值 
误差 是 图 3-3 中 两 条 曲线 之 间 的 垂直 距离 . 下 面 的 定理 给 出 了 插值 误差 的 公式 , 通 
常 它 不 可 能 准确 地 计算 , 但 是 至 少 可 以 导出 误差 界 . 


» 


a 


定理 3.3 RR P(z) AMS n 个 点 (11,0) , (Zn,yn) 的 次 数 小 于 等 于 
n 一 1 的 插值 多 项 式 . 插值 误差 是 
f(z) — Ple) = E— AWE — #2) 40) poo), (3.6) 


nt 

这 里 c 落 在 z,zl,……，,zn 中 的 最 小 值 与 最 大 值 之 间 . 
定理 3.3 的 证 明 见 3.2.2 节 . 可 以 用 这 个 定理 去 估计 我 们 在 例 3.7 中 建立 的 正 

弦 键 的 精度 . 由 等 式 (3.6) 得 到 


sing Pi) = E—VE-DE-DE-D poo, 


这 里 0 < c< 于 4 阶 导数 f(c) = sinc 在 这 个 范围 内 从 0 到 1 变化 . 即使 是 最 坏 
的 情形 , |sin c| 也 不 会 大 于 1, 因此 我 们 可 以 确定 插值 误差 的 上 界 . 
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le = 0)( - §)(@— Hr- 
24 


lsinz ~ P(e) < jal. 


在 z=1 处 , 最 坏 情形 的 误差 是 


Isnt PO < C90 -D0 -D0 -P 


[1 = 0.000 5348. (3.7) 

因为 我 们 用 了 关于 4 阶 导数 的 最 坏 情形 的 界 , 所 以 这 是 误差 的 上 界 ， 注意 在 
z= 1 处 的 实际 误差 是 0.000 4, 它 是 在 由 (3.7) 给 出 的 误差 界 之 内 的 . 在 这 种 形式 
的 插值 误差 公式 的 基础 上 , 我 们 可 以 得 出 一 些 结论 . 当 z 较 接 近 zi 的 区 间 的 中 点 
时 , 我 们 预计 比 它 靠近 其 中 一 个 端点 时 的 误差 更 小 , 这 是 因为 在 乘积 中 将 出 现 更 小 
的 项 . 例如 , 我 们 把 前 面 的 误差 界 与 z = 0.2 的 情形 ( 它 靠近 数据 点 范围 的 左 端 点 ) 
进行 比较 , 此 时 误差 公式 是 


1(0.2 — 0)(0.2 — 2)(0.2 — 3)(0.2 一 中 | 


|sin 0.2 — P(0.2)| < 


[1| ~ 0.003 13, 


大 约 是 原先 的 6 倍 , 相应 地 , 实际 误差 也 较 大 , 具体 为 
|sin 0.2 — P(0.2)| = |0.198 67 — 0.200 56| = 0.001 89. 


$13.8 R f(z) = ez 与 在 点 -1, -0.5, 0, 0.5, 1 处 插值 的 多 项 式 在 z = 0.25 
Bx = 0.75 处 的 差 的 上 界 . 

构造 如 图 3-4 所 示 的 插值 多 项 式 , 它 对 于 求 这 种 上 界 并 不 是 必需 的 . 插值 误差 
公式 (3.6) 给 出 


+ det pee- DeD oo, 


f(z) — Pa(z) = 
这 里 -1 < c< 1,5 阶 导数 f(5)(c) =e. 因为 ez KF z 递增 , 它 的 最 大 值 在 区 间 的 
右 端 点 , 所 以 在 [-1,1] 上 , |©] < el 对 于 -1 < z < 1, 误差 公式 变 为 


le? — Pols (z+1)(z+ Dele ~z- Do 


在 z= 0.25 处 , 插值 误差 有 上 界 


(1.25)(0.75)(0.25)(—0.25)(—0.75) 


720 e = 0.000 995. 


{e®?5 — P,(0.25)| < 


在 > = 0.75 处 , 插值 误差 可 能 比较 大 : 
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(1,75)(1.25)(0.75)(0.25)(0.25) | 0.002 323. 
120 


le™75 — P4(0.75)| < 


再 次 注意 , 在 靠近 插值 区 间 中 央 的 插值 误差 将 变 得 较 小 . < 


Y 


图 3-4 对 f(z)=e” 进行 近似 的 插值 多 项 式 等 距 基点 一 1, 一 0.5, 0, 0.5, 1, 
实 曲线 是 插值 多 项 式 


3.2.2 Newton 形式 和 误差 公式 的 证 明 


在 这 一 节 中 , 我 们 来 解释 早先 使 用 过 的 两 个 重要 事实 背后 的 原理 . 首先 , 我 们 
建立 插值 多 项 式 的 Newton 均 差 形式 , 然后 我 们 证 明 插值 误差 公式 . 

回忆 我 们 至 今 所 知道 的 事情 . 如 果 z1,… ,zn 是 实 轴 上 nn 个 不 同 的 点 , yi ,yn 
是 任意 的 , 我 们 知道 对 于 这 些 点 恰好 存在 一 个 (次数 最 多 为 n - 1) 插值 多 项 式 
已 _i(z). 我 们 也 知道 Lagrange 插值 公式 给 出 了 这 种 多 项 式 . 

只 有 一 件 事情 我 们 不 知道 , 那 就 是 Newton 均 差 公式 是 否 也 给 我 们 一 个 插值 多 
项 式 . 一 旦 在 定理 3.7 中 证 明 它 是 对 的 , 我 们 就 将 知道 它 必 须 与 Lagrange 形式 一 
致 . 我 们 从 求 n 一 1 次 的 Pai 的 系数 公式 开始 , 然后 再 专门 研究 Newton ØR. 

考虑 另外 两 个 插值 多 项 式 : 插值 于 zt … ,zn_1 的 Pro, 以 及 插值 于 ra，… ,zn 
的 Qn—o. 它们 之 间 成 立 以 下 关系 : 

引 理 3.4 (Py_i(x) — Pr—a(x))(tn — 21) = (z — 21)(Qn-2(z) — Pa-2(2)). 

证 ”因为 两 边 的 差 是 一 个 最 多 n-1 次 的 多 项 式 , 所 以 只 要 证 明 在 nn 个 不 同 的 
点 两 边 相等 就 足够 了 ， 于 是 根据 代数 学 基本 定理 , 这 个 差 必定 恒 等 于 零 多 项 式 .我 
们 选取 的 n 个 点 是 n 个 插值 点 . 在 并 = r 处 , 左边 是 零 , 这 是 因为 Pai 和 已 -> 
都 在 点 (1,41) 插值 . 右边 也 是 零 . Æ T= 12,- ,Tn-1 处 两 边 都 是 零 , 这 是 因为 全 
部 3 个 多 项 式 已 -1 Pn-2,Qn-2 都 在 这 些 点 插值 . 对 于 c= Zn, 两 边 是 恒 等 的 , 这 
是 因为 如 -1(zn) = Qn-2(tn): 

定义 3.5 ”我 们 把 插值 于 zl,… ,Zn 且 次 数 小 于 等 于 n 一 1 的 唯一 多 项 式 的 
nn 一 1 次 项 系数 记 为 fler- zn]. 
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用 这 个 定义 , 引 理 3.4 中 左边 的 n-1 次 系数 是 f[z1…znj(zn 一 z1), 而 右边 的 
n 一 1 次 系数 是 f[z2… zn] fle anl 因为 它们 必须 相等 , 所 以 我 们 已 经 证 明 
了 下 面 的 引 理 . 

引 理 3.6 ”如 果 fleri an] 表示 插值 于 Z1,… ,zn 且 次 数 小 于 等 于 n 一 1 的 
多 项 式 的 nn 一 1 次 项 系数 , 那么 
= fra Tn] -fle rn) 

Tn— Tı 

现在 我 们 知道 如 何 求 n — 1 次 系数 . 利用 (3.8) 的 递归 性 质 , 通过 应 用 Newton 
均 差 三 角形 , 我 们 就 能 够 计算 它 . 

因此 , 我 们 讨论 专门 针对 Newton 形式 : 


已 -li(z) = al 二 aaz(z 一 Z1) 十 as(Z 一 Z1)(z 一 7Z2) 十 … 十 an(Z 一 Z1)…(Z 一 Zn-1)， (3.9) 


首先 , 是 否 永远 可 能 把 插值 多 项 式 写成 这 种 形式 ? 通过 求 出 系数 a; 用 数据 点 y; 来 
表示 , 我 们 证 明 这 是 可 能 的 . 例如 , 把 z 代入 Newton 形式 (3.9) 得 到 


a = P,(21) = y1. (3.10) 


[cl +++ zn] (3.8) 


代入 zz 得 到 

al + a2(x2 — 21) = Py-i(x2) = ya, (3.11) 
所 以 我 们 也 能 解 出 az, 这 是 因为 根据 (3.10), a, 是 已 知 的 , 并 且 a 的 系数 非 零 . 代 
入 zs 我 们 看 到 同样 的 结果 : 


al + a2(x3 — Z1) + as(z3 — T1)(73 — 22) = 已-1(zs) = y3- (3.12) 
一 般 地 ， 
a1 + a2(Zm 一 Z1) 十 as(zm — T1)(Zm — 12) 
+: + am(Zm — £1) +++ (Em — Tm-1) 


=Pn—1(tm) = Ym- (3.13) 


重要 的 事实 是 前 面 所 有 的 a; 都 是 已 知 的 , 而 且 等 式 中 am 的 系数 非 零 , 这 是 因为 所 
有 的 点 z; 都 是 不 同 的 . 

现在 我 们 知道 , Newton 形式 永远 是 存在 的 , 我 们 来 说 明 如 何 计算 an. HA, 
我 们 从 引 理 3.6 已 经 知道 n 一 1 次 系数 an = flz1:…zn]， 对 于 写成 Newton 形 
式 的 多 项 式 , 用 (pn_1),,_! 表示 由 Pai 的 Newton 形式 的 前 m 项 组 成 的 次 数 小 
于 等 于 m 一 1 的 多 项 式 . 注意 (pn_1)m-1 插值 于 (21,91), , (zm,ym), 这 是 
为 Paa 确实 是 这 样 , 而 且 在 这 些 点 处 较 高 项 全 是 零 . 根据 插值 多 项 式 的 唯一 性 ， 
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(Pa-1)m-1 是 次 数 小 于 等 于 m - 1 AE z1,… ,zm 处 插值 的 多 项 式 , 所 以 根据 引 
H 3.6,am = f[z1…zm]. 这 样 我 们 已 经 证 明了 以 下 定理 : 

定理 3.7 Ben 个 点 (21,01) (En Yn) 使 得 zi 各 不 相同 , BR Newton 
形式 (3.9) 的 多 项 式 Pail) 具有 

am = f[£1 Em], l<m<n 

给 出 的 系数 .换言之 , Newton 均 差 公式 给 出 了 经 过 n 个 点 且 次 数 小 于 等 于 n 一 1 
的 唯一 的 插值 多 项 式 . 

下 面 证 明 插值 误差 定理 3.3. 考虑 另 加 一 点 z 到 这 组 插值 点 中 . 新 的 插值 多 项 
式 应 该 是 


Palt) = Pa-1 (t) + flati-++2na](t — 21) -+ (t — £n). 
在 这 个 额外 的 点 z 处 计算 , P,(z) = f(z), 所 以 
f(z) = Pn-i(2) + flz1: znz](z — 21) +++ (2 — Tn). (3.14) 
这 个 公式 对 所 有 的 z WEM. 现在 定义 
A(t) = f(t) — Pn-1(t) — flai-+-2na)(t — z1) 人 一 Zn). 


注意 , 根据 (3.14), h(x) = 0, 0 = h(z1) = … = h(zn), 这 是 因为 Pa- 在 这 些 点 对 
S 进行 插值 . EX n 十 1 个 点 z,z1,… ,zn 的 每 一 对 相 邻 点 之 间 , 根据 Rolle 定理 
( 见 第 0 章 ) 必定 存在 一 个 新 的 点 , 在 这 点 上 h = 0. 一 共有 n 个 这 样 的 点 . 在 这 
些 点 的 每 一 对 点 之 间 , 必定 存在 一 个 新 的 点 , 在 这 点 上 h” = 0, 一 共有 n-1 个 这 
样 的 点 . 以 这 种 方式 进行 下 去 , 必定 存在 一 个 点 c 使 得 A (c) = 0, 这 里 的 c 落 在 
ati, ,zn 中 的 最 小 值 和 最 大 值 之 间 . 注意 到 


KOH 一 7 的 一 ml zna], 
这 是 因为 多 项 式 PB,1(z) 的 n 阶 导数 等 于 0. RA c 就 得 到 
fm(9 


n! 


fler- znz] = 
用 (3.14), 就 能 导出 
Ho 


(z — 21): +- (£ — £n). 


f(a) = Pa- (2) +o 


3.2.3 Runge 现象 


如 定理 3.2 所 示 , 多 项 式 能 够 拟 合 任何 一 组 数据 点 . 但 是 某 些 多 项 式 的 曲线 偏 
好 于 某 种 特定 形状 . 通过 使 用 程序 3.2, 你 可 能 会 较 好 地 了 解 这 一 点 . 尝试 使 函数 在 
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等 距 点 z = —3, —2.5, —2, -1.5,---, 2.5, 3 处 等 于 0, z = 0 除外 , 在 > = 0 处 我 们 
置 函 数值 等 于 1. 除了 在 z = 0 处 有 一 个 三 角形 的 “隆起 ”之 外 , 数据 点 沿 着 x 轴 
是 平坦 的 , 如 图 3-5 所 示 . 


= 
图 3-5 三 角形 隆起 函数 的 插值 : 插值 多 项 式 比 输入 数据 点 摆动 更 其 


经 过 这 样 设置 的 点 的 多 项 式 与 数据 点 不 同 , 其 值 拒绝 停留 在 0 与 1 之 间 . 这 就 
是 所 谓 的 Runge 现象 . 它 通常 用 来 描述 与 在 等 距 点 插值 的 高 次 多 项 式 相关 的 极端 
的 “多 项 式 摆动 ” 现象 . 

例 3.9 ”把 函数 f(z) = oer 在 [-1, 1] 中 等 距 的 点 上 插值 . 

这 称 为 Runge 例子 ， 该 函数 具有 与 图 3-5 中 三 角形 隆起 相同 的 一 般 形状 . 
图 3-6 展示 了 插值 的 结果 , 即 Runge 现象 特征 的 效应 : 在 插值 区 间 端 点 附近 的 多 项 
式 摆动 . < 


图 3-6 Runge 例子 . 例 3.9 中 的 Runge 函数 在 等 距 基点 处 的 多 项 式 插 
值 类 似 于 图 3-5, 它 在 区 间 的 端点 附近 变化 剧烈 : (a) 15 个 基点 ， 
(b) 25 个 基点 
如 我 们 已 经 看 到 的 , 带 有 Runge 现象 的 例子 有 这 样 一 种 特征 : 它们 在 靠近 数 
据点 区 间 的 外 面 时 有 大 的 误差 . 对 这 个 问题 的 解决 是 靠 直 觉 的 : 把 一 些 插值 点 朝 区 
间 外 部 移动 , 在 那里 产生 数据 的 函数 能 更 好 地 拟 合 . 3.3 节 关 于 Chebyshev 插值 的 
讨论 将 介绍 如 何 完 成 这 一 点 . 
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习题 3.2 


1. 


(a) 求 经 过 点 (0, 0),(F,1), (1,0) 的 插值 多 项 式 P(x). (b) 计算 sin(Z) 的 近似 Pa(Z). 
(c) 用 定理 3.3 对 (b) 中 的 近似 给 出 误差 界 . (d) 用 计算 器 或 者 MATLAB, 比较 实际 误差 
和 你 的 误差 界 . 


(a) 给 定数 据点 (1, 0), (2, jn 2), (4, ln 4), 求 二 次 插值 多 项 式 .(b) 用 (a) 的 结果 去 近似 


In3. (c) 用 定理 3.3 对 (b) 中 的 近似 给 出 误差 界 . (d) 比较 实际 误差 和 你 的 误差 界 . 


. 设 多 项 式 f(z) = er2= 在 10 个 等 距 的 点 = 二 0, 3, 2, 3, 8, 1 的 插值 函数 为 Py(z). 


(a) 求 误差 |(3) 一 Po(d)| 的 上 界 ; (b) 如 果 用 Po(2) 来 近似 e-!, 你 能 保证 多 少 位 小 数 
是 正确 的 ? 


.考虑 插值 节点 > = 0, 2, 4, 6, 8, 10, R f(z) = z 的 插值 多 项 式 . 在 (ale = 1 及 


(b)z = 5 处 求 插值 误差 的 上 界 . 


。 采 用 数据 点 (zi, f(zi)), 这 里 zı = 0.1, za = 0.2, zs = 0.3, 24 = 0.4, £5 = 0.5, ze = 0.6, 


假设 已 经 用 5 次 插值 多 项 式 来 逼近 函数 f(z). 对 于 z = 0.35 或 z = 0.55, 你 预计 插值 误 
差 |f(z) — P(z)| 比较 小 吗 ? 量化 你 的 回答 . 


,假设 多 项 式 Ps(z) 在 6 个 数据 点 (zi, f(zi))( 其 x 坐标 分 别 是 zk = 0,za = 0.2,zs = 


0.4, za = 0.6, zs = 0.8, ze = 1) 对 函数 f(x) 插值 . 假设 在 z = 0.3 处 的 插值 误差 是 
|f(0.3) — P5(0.3)| = 0.01. 如 果 再 加 上 两 个 插值 点 (xe, ys) = (0.1, f(0.1)) 及 (a7, y7) = 
(0.5, f(0.5)), 估计 新 的 插值 误差 |f(0.3) — Pr(0.3)| 将 是 多 少 . 为 了 得 到 这 个 估计 , 你 已 
作 了 什么 假设 ? 


计算 机 问题 3.2 


1. 


(a) 对 数据 (0.6, 1.433 329), (0.7, 1.632 316), (0.8, 1.896 481), (0.9, 2.247 908), (1.0, 
2.718 282) 用 均 差 方法 求 4 次 插值 多 项 式 Py (x); (b) 计算 Pa(0.82) 及 Pa(0.98); (c) 前 
面 的 数据 来 自 函 数 f(z) = e°, 用 插值 误差 公式 求 在 z = 0.82 及 x = 0.98 处 的 误差 上 
FH, 并 且 把 这 个 界 与 实际 误差 进行 比较 ; (d) 在 区 间 [0.5, 1] 及 [0, 2) 上 画 出 实际 插值 误 
差 Pi(z) - e”. 


,在 区 间 [一 2r, 2r] 上 画 出 程序 3.3 中 sin 1 键 的 插值 误差 . 
， 世界 石油 产量 以 每 天 百 万 桶 计 , 如 表 3-5 所 示 . 确定 并 画 出 经 过 这 些 数据 的 9 次 多 项 式 . 


用 它 估计 2010 年 的 石油 产量 . 在 这 个 例子 里 , Runge 现象 会 出 现 吗 ? 你 以 为 插值 多 项 式 
是 数据 的 好 模型 吗 ? 请 解释 之 . 


表 3-5 
W/K (x106) E 桶 /天 (x108) 
1994 67.052 1999 72.063 
1995 68.008 2000 74.669 
1996 69.803 2001 74.487 
1997 72.024 2002 74.065 
1998 73.400 2003 76.777 


,用 经 过 计算 机 问题 3 中 前 4 个 数据 点 的 三 次 多 项 式 估计 1998 年 世界 石油 产量 . Runge 


现象 会 出 现 吗 ? 
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3.3 Chebyshev 插值 


通常 插值 选取 的 基点 z; 是 等 距 的 . 在 许多 情形 下 , 被 插值 的 数据 仅仅 适用 于 
这 种 形式 , 例如 , 当 数 据 是 由 分 成 常数 时 间 区 间 的 仪表 读数 所 组 成 时 . 在 其 他 情形 
(Eiu, 正弦 键 ) 我 们 可 以 自由 选取 认为 合适 的 基点 . 于 是 基点 间隔 的 选取 对 插值 误 
差 有 重大 的 影响 . Chebyshev 插值 涉及 间隔 点 的 一 种 特殊 的 最 优选 取 方 式 . 


3.3.1 Chebyshev 定理 
Chebyshev 插值 用 于 改善 在 插值 区 间 的 插值 误差 


(z — 21)(e — 22) +- (2 — tn) 
n! 
的 最 大 值 的 控制 . 现在 固定 此 区 间 是 [_1, 1]. 
插值 误差 公式 中 的 分 子 


LCC) 


(z — 21) (a — 22) +++ (£ — £n) (3.15) 


本 身 是 一 个 z 的 n 次 多 项 式 并 且 在 [-1, 1) 上 存在 最 大 值 , 在 [-1, 1] 中 是 否 有 可 
能 求 出 特定 的 z1,… ,zn 使 得 (3.15) 式 的 最 大 值 尽 可 能 地 小 ? 这 就 叫做 插值 的 极 
小 极 大 值 (minimax) 问题 . 

例如 , 图 3-7a 显示 了 当 z1,… ,ze 是 等 距 时 9 次 多 项 式 (3.15) 的 图 形 . 在 靠近 
区 间 [-1, 1] 的 端点 时 这 个 多 项 式 将 变 大 的 趋势 是 Runge 现象 的 一 种 体现 . 图 3-7b 
展示 了 同样 的 多 项 式 (3.15), 但 是 其 中 的 点 z1,… ,zn 已 经 用 这 样 的 方式 选择 , 它 
使 多 项 式 的 大 小 在 整个 [-1,1] 内 相等 . 这 些 点 已 经 按照 即将 提出 的 定理 3.8 进行 
了 选取 . 

事实 上 , 这 种 准确 的 定位 , 其 中 选取 的 基点 ri 是 cos $, cos 器 …… ,cos Ha, 使 
得 (3.15) 的 最 大 绝对 值 等 于 za, 这 是 9 个 点 在 [-1, 1] 中 可 能 的 最 小 值 . 这 样 的 定 
位 , 归 因 于 Chebyshev, 概述 在 以 下 定理 中 : 

定理 3.8 使 pax |(t 一 21)…(z 一 Zn)| 的 值 尽 可 能 小 的 实数 一 1 < z1,…， 


En < 1 的 选取 是 zi = cos COU" i= 1,--- ,mi 而 且 最 小 值 是 phy. 事实 上 , 最 小 什 
是 通过 


(@— 24) ++: (0 — aq) = Tals) 


gn-1°" 


达到 的 , 这 里 Th(z) Æ n 次 Chebyshev 多 项 式 . 


(b) 


图 3-7 ”插值 误差 公式 的 一 部 分 .(z — 21) --- (z 一 z9) 的 图 形 , (a) 9 个 等 
距 的 基点 ri, (b) 9 Chebyshev 根 z; 
在 建立 Chebyshev 多 项 式 的 一 些 性 质 之 后 , 我 们 给 出 这 个 定理 的 证 明 . 从 这 个 
定理 , 我 们 推 知 , 如 果 [-1, 1] 中 的 n 个 插值 基点 选取 为 n 次 Chebyshev 插值 多 项 
SK Tn(z) 的 根 , 那么 就 能 使 插值 误差 最 小 化 . 这 些 根 是 


odd x 
mn (3.16) 


这 里 “odd” 表示 从 1 到 2n-1 中 的 奇数 . 于 是 我 们 保证 了 (3.15) 的 绝对 值 对 
于 [-1, 1] 中 的 所 有 z 是 小 于 oy 的 . 

选取 Chebyshev 根 作为 插值 基点 使 得 插值 误差 在 整个 区 间 [-1, 1] 中 尽 可 能 均 
匀 地 分 布 . 我 们 将 把 采用 Chebyshev 根 作为 基点 的 插值 多 项 式 称 为 Chebyshev 插 
值 多 项 式 . 

例 3.10 R f(x) = er 和 4 RK Chebyshev 插值 多 项 式 在 [-1, 1] 上 的 差 在 最 
坏 情 形 下 的 误差 界 . 插值 误差 公式 (3.6) 给 出 


f(z) — Pala) = (æ - z1)(z — 22)(£ zee 二 za)(z 一 z5) o, 


Ti = cos 


这 里 


3 5: 
T1 = cos T2 = COS —, T3 = COS 


x 

10’ 10 
是 Chebyshev #8, 其 中 -1 < c< 1. 根据 Chebyshev 定理 3.8, 对 于 -1 < zx < 1, 
æ- 21): (z= m8) < 去 : 


WA, |f| < el 在 [-1, 1) 上 成 立 . 插值 误差 是 


le? — P(z)| < -2 ~ 0.001 42, 
2451 
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对 区 间 (-1, 1) 上 的 所 有 z 都 成 立 . 

把 这 个 结果 与 例 3.8 进行 比较 . Chebyshev 插值 在 整个 区 间 上 的 误差 界 仅 
仅 比 用 等 距 插值 时 靠近 区 间 中 央 的 点 的 误差 界 稍微 大 一 些 . 人 
Chebyshev 误差 要 小 得 多 . 

加 到 Runge 例题 3.9, 我 们 可 以 按照 Chebyshev 的 想法 通过 选取 所 他 点 来 消除 
Runge 现象 . 图 3-8 表明 在 整个 区 间 [-1, 1] 插值 误差 都 已 经 变 小 . 


(b) 


图 3-8 用 Chebyshev 节点 的 Runge 例子 的 插值 : 分 别 对 (a)15 个 点 
和 (b)25 个 点 绘 出 了 Runge BM f(z) = er 以 及 它 的 
Chebyshev 插值 多 项 式 . 在 这 种 分 辩 率 下 , [~1, 1] 上 的 误差 可 
忽略 不 计 . 至 少 在 -1 和 1 之 间 已 经 消除 了 图 3-6 中 的 多 项 式 
摆动 
3.3.2 Chebyshev 多 项 式 
用 Th(z) = cos(n arccos z) 定义 n 次 Chebyshev 多 项 式 . 尽管 它 看 起 来 不 像 ， 
wie n, 它 确 是 变量 z 的 多 项 式 . 例如 , 对 n = 0, 它 给 出 零 次 多 项 式 1. 而 
对 n = 1, 我 们 得 到 Ti(z) = cos(arccos z) = z. 对 n = 2, 回忆 起 余弦 的 加 法 公 
式 cos(a + b) = cos a cos b 一 sin a sin b. & y = arccos z, 所 以 cosy = z, 于 是 
T(z) = cos 2y = cos? y — sin? y = 2cos* 一 1 = 2x? — 1, 这 是 一 个 二 次 多 项 式 . 一 般 
地 , 注意 到 
Tn+1(x) =cos(n + 1)y = cos(ny + y) = cosny cosy — sin ny sin y, 


Tn+1(z) =cos(n — 1)y = cos(ny — y) = cosny cosy — sinnysin(—y). (3.17) 
A sin(—y)=—siny, 所 以 我 们 可 以 把 上 面 的 等 式 相 加 得 到 


Tn+1(£) + Tr-1(z) =2cosnycosy = 2zTn(z). (3.18) 


结果 得 到 关系 
THa(z) = 2zTn(z) — Tn-1(2); (3.19) 
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称 之 为 Chebyshev 多 项 式 的 递 推 关 系 (recursion relation). 从 (3.19) 得 到 以 下 一 些 
事实 : 

事实 1 m 是 多 项 式 . 我 们 直接 证 明了 TT RE. AAT; BT HT 
的 多 项 式 组 合 , 所 以 Ts 也 是 多 项 式 ， 同 样 的 论证 适用 于 所 有 的 T,， 前 面 的 一 些 
Chebyshev 多 项 式 ( 见 图 3-9) 是 


To(z)=1, Ti(z)=2, T(z)=22?-1, T(z) = 423 — 3r. 


图 3-9 ”一 次 到 五 次 Chebyshev 多 项 式 的 图 形 ， 注意 , Tr (1) =1 UR 
在 (-1, 1] 内 由 Th(z) 取 的 最 大 绝对 值 是 1 
事实 2 deg(Tn) =n 并 且 首 项 系数 是 2"-!. 对 于 n= 1 及 n= 2, 这 是 很 显 
然 的 . 而 且 递 推 关系 把 这 个 事实 推广 到 所 有 的 n. 
事实 3 Th() =1RT,(-1) = (-1)". HF n=1Rn=2, 这 两 点 是 显然 
的 . 一 般 地 ， 
Tn+1(1) = 2(1)Tn(1) — Tr—1(1) = 2(1) -1=1 


Tn+1(—1) = 2(-1)Tn(—1) — Ta-1(~1) = -2(-1)" — (-1)"? 
= (-1)?"*(2— 1) = (-1)""* = (-1)™*". 
事实 4 对 -1< z <1, Ti(z) 的 最 大 绝对 值 是 1. 这 一 点 可 从 下 面 这 个 事实 
得 到 , 即 对 某 些 y, Th(z) =cos y. 
事实 5 T(z) 的 全 部 零点 位 于 -1 和 1 之 间 . 见 图 3-10. 事实 上 , 这 些 零 点 
是 0=cos(n arccos z) 的 解 . 因为 cos y= 0 HENK y = 奇数 x(r/2), 我 们 得 到 
n arccos z= 奇数 x /2， 


奇数 x r 
2n ` 
事实 6 ”Th(z) 交替 地 取 -1 和 1, 总共 n+1 次 . 事实 上 , 这 种 情形 发 生 在 


cos 0, cosž, +++, cos "U8, CoS. 


z= cos 
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y 


oy | 1 = =l 1 
(a) (b) () 


图 3-10 Chebyshev 多 项 式 零点 的 位 置 . 这 些 根 是 圆周 上 等 距 的 点 的 z 
坐标 . (a) 5 次 (b) 15 次 (c) 25 次 

从 事实 2 知 Ti(z)/2"-:1 是 首 项 系数 为 1 的 多 项 式 . 根据 事实 5, 因为 Tu(z) 的 
全 部 根 是 实数 , 所 以 可 以 把 Th (z)/2"-1 因 式 分 解 成 (z — zi) (z 一 22)… (2 — an), 
这 里 zi 是 定理 3.8 中 所 描述 的 Chebyshev 节点 . 

Chebyshev 定理 直接 从 这 些 事实 得 出 . 

定理 3.8 的 证 明 .。 it Pn(z) 是 在 [-1,1] 上 具有 绝对 值 更 小 的 最 大 值 且 首 
项 系数 为 1 的 多 项 式 , 换言之, |Pa(7)| < ml < oe Sl 这 个 假设 导出 矛盾 . 
因为 Ti(z) 交替 地 取 -1 fol, RSE n+1 次 (事实 6), A n+1 个 点 处 ， 差 
Pa 一 Th(z)/2" 1! 交替 地 取 正 数 或 负数 . 因此 Pn 一 sr 一 定 至 少 风 次 经 过 零 , 也 
就 是 它 必须 至 少 有 n 个 根 . 因为 Pa 和 To 都 是 首 项 系数 为 1 的 多 项 式 , 所 以 它 
们 的 差 的 次 数 小 于 等 于 n 一 1, 于 是 就 和 这 个 事实 产生 了 了 矛盾， 
3.3.3 ”区 间 的 改变 


到 目前 为 止 , 我 们 关于 Chebyshev 插值 的 讨论 一 直 限制 在 区 间 [-1, 1] 中 , 这 
是 因为 对 这 个 区 间 , 定理 3.8 非常 容易 叙述 . 下 面 我 们 将 把 整个 方法 推 到 一 般 的 区 
间 (a, 6}. 

移动 基点 使 它们 在 [a, 5] 中 与 它们 在 [-1, 1] 中 有 同样 的 相对 位 置 . 最 好 考虑 分 
两 步 进行 : 

(1) 用 因子 (6 一 a)/2( 两 个 区 间 长 度 之 比 ) 扩 大 (stretch) 这 些 点 的 间距 , 以 及 (2) 
用 (b+ a) /2-#-4$ (translate) 这 些 点 , 使 整个 中 心 从 0 BB [a,b] 的 中 点 . 即 , 从 原来 


的 点 
AH xa 
OS 


s 2n 


移 到 


b-a 奇数 xr b+a 
aan “2° 

对 于 [a,b] 中 新 的 Chebyshev 基点 z1,… ,zn, 插值 误差 公式 的 分 子 中 相应 的 
ERRAR, 因为 每 一 个 因 式 (z 一 zi) 都 扩大 了 (b 一 a)/2 倍 . 结果 , 最 小 值 1/2"! 


必须 被 [(b — a) /2\"/2"— ARE. 
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Chebyshev 插值 节点 
在 区 间 [a,b] 上， 


_b+a b-a (2 一 Dr 
ayer yells sear a 


对 i=1,…,n 成 立 . 不等式 


‘b-ayn 
l= 21): (e-a) EP (8.20) 


在 ja, b) 上 成 立 . 


亮点 压缩 

如 本 节 所 介绍 的 , 为 了 方便 计算 , Chebyshev 插值 是 把 一 般 函 数 转变 
成 少量 浮 点 运算 的 好 方法 . 容易 获得 的 误差 上 界 通常 比 等 距 插值 的 小 , 而 
且 能 够 按 要 求 设计 得 尽 可 能 小 . 

虽然 我 们 已 经 用 正弦 函数 说 明了 这 个 过 程 , 但 是 大 多 数 计算 器 及 套装 
软件 都 采取 不 同 的 方法 来 构造 实际 的 “正弦 键 ". 正弦 函数 的 特殊 性 质 允 
许 用 稍 作 改 变 以 考虑 合 入 的 简单 的 Taylor 展开 式 来 近似 它 . 因为 正弦 是 
奇 函 数 , 所 以 它 的 Taylor 级 数 在 零 周围 的 偶数 项 不 出 现 , 这 使 得 计算 特别 
AR. 


下 面 的 例子 说 明 Chebyshev 插值 在 一 般 区 间 的 应 用 . 
例 3.11 对 于 区 间 (0, 2/2] 上 的 插值 , 求 4 个 Chebyshev 基点 , 并 且 求 f(z) = 
sina 在 该 区 间 上 Chebyshev 插值 误差 的 上 界 . 
这 是 第 二 次 尝试 . 在 例 3.7 中 我 们 采用 等 距 的 基点 . Chebyshev 基点 是 
0 奇数 3+0 
(Gar) + 


根据 (3.20), 对 于 0 < z < 3, 最 坏 情形 的 插值 误差 是 


_o\4 
[eae -azze -20l pay (35°) Sane 


r 7 
{sin z- P3(x)|= x 
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在 表 3-6 的 几 点 处 , 计算 这 个 例子 的 Chebyshev 插值 多 项 式 . 插值 误差 要 大 大 
低 于 最 坏 情形 的 估计 . 图 3-11 画 出 了 在 区 间 [0, 下 上 作为 z 的 函数 的 插值 误差 , 并 
与 同样 的 等 距 插值 作 比较 . Chebyshev 误差 ( 虚 曲 线 ) 是 小 了 一 点 , 而 且 在 整个 插值 


区 间 分 布 更 均匀 . < 
R 36 

z sin z Ps(z) RE 
1 0.841 5 0.840 8 0.000 7 
2 0.909 3 0.909 7 0.000 4 
3 0.1411 0.142 0 0.000 9 
4 —0.756 8 一 0.755 5 0.001 3 
14 0.990 6 0.991 7 0.001 1 

1 000 0.826 9 0.826 1 0.000 8 


(a) (b) 


图 3-11 关于 近似 f(z) = sinz 的 插值 误差 : (a) 等 距 基点 的 三 次 插值 多 
MR ( 实 曲 线 ) 和 Chebyshev 基点 的 三 次 插值 多 项 式 ( 虚 曲 线 ) 
的 插值 误差 , (b) 与 (a) 相同 , 但 是 九 次 插值 多 项 式 


例 3.12 ”设计 出 输出 会 精确 到 10 位 小 数 的 正弦 键 . 

借助 之 前 建立 的 正弦 函数 的 基本 定义 域 , 我 们 可 以 继续 考虑 区 间 [0, 下 .重复 
前 面 的 计算 , 但 把 基点 数 n 留 作 待定 的 未 知 数 . 在 区 间 [0,3] 上 多 项 式 已-i(z) 的 
最 大 插值 误差 是 


geo)" 
2 
ni x Qn-T" 

这 个 不 等 式 不 能 简单 地 解 出 n, 但 通过 几 次 试验 就 会 发 现 , 对 n = 9, 误差 界 约 
等 于 0.122 4 x 10-8, 而 对 n = 10, 它 约 等 于 0.480 7 x 10-1, 后 者 满足 我 们 关于 10 
位 准确 小 数 的 准则 . 图 3-11b 把 Chebyshev 插值 多 项 式 的 实际 误差 与 等 距 插值 多 项 
式 的 误差 进行 了 比较 . 

在 [0, 3] 中 的 10 个 Chebyshev 基点 是 r/4+ (r/4) cos( 奇 数 x/20). 通过 存储 正 
弦 函 数 在 基点 的 10 个 y 值 , 并 且 对 每 一 次 按键 做 一 次 嵌 套 乘法 计算 就 能 够 设计 出 
这 个 键 . < 


inz- Py-1(a)| = -2 — Fal prey < 
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以 下 的 MArrAB 代 码 sin2.m 执 行 了 前 面 的 任务 . RARE RAF: 
为 了 建立 插值 多 项 式 在 某 一 点 的 近似 正弦 , 我 们 在 10 个 Chebyshev 节点 必须 做 10 
次 正弦 计算 . 当然 , 在 实际 执行 中 , 这 些 数 应 计算 一 次 并 且 存储 起 来 . 


*Program 3.4 Building a sin calculator key, attempt #2 
%Approximates sin curve with degree 9 polynomial 

%Input: x 

‘Output: approximation for sin(x), correct to 10 decimal places 
function y=sin2 (x) 

%First calculate the interpolating polynomial and 

% store coefficients 


n=10; 
b=pi/4+(pi/4) *cos((1:2:2*n-1) *pi/(2*n)); 
yb=sin(b); % b holds Chebyshev base points 


c=newtdd(b,yb,n) ; 
%For each input x, move x to the fundamental domain and evaluate 
% the interpolating polynomial 
s=1; % Correct the sign of sin 
x1=mod(x,2*pi); 
if xlopi 
xl = 2*pi-x1; 
8 = -1; 
end 
if xl > pi/2 
xl = pi-x1; 
end 
y = s*nest (n-1,c,x1,b); 


AE, 为 了 近似 三 角 函 数 , 我 们 经 常 演示 等 距 或 者 Chebyshev 节点 的 多 项 式 
插值 . 尽管 能 用 多 项 式 插值 近似 正弦 和 余弦 到 任意 的 精度 , 但 大 多 数 计算 器 还 是 使 
用 一 种 稍微 更 有 效 的 称 为 CORDIC(Coordinate Rotation Digital Computer) 算法 
的 方法 P. CORDIC 是 基于 复 运算 的 一 种 精巧 的 迭代 方法 , 它 能 应 用 于 几 种 特殊 
函数 ， 多 项 式 插值 仍然 是 近似 一 般 函 数 以 及 表示 和 压缩 数据 的 一 种 简单 且 有 用 的 
技术 . 


习题 3.3 


1. 列 出 在 给 定 区 间 中 的 Chebyshev 插值 节点 £1，… ,rn: 
(a) [-1,1];n=6; (b) [-2, 2];n=4; (c) [4 12]; n=6; (d) [-0.3, 0.7]; n=5. 

2. 对 于 习题 1 中 的 区 间 和 Chebyshev 节点 , 求 |(z-zi).…(z 一 zn)| 的 上 界 . 

3. 假设 Chebyshev 插值 用 于 对 函数 f(x) = e 在 区 间 [-1, 1] 上 求 一 个 五 次 插值 多 项 式 
Qs(z). 用 插值 误差 公式 找 出 对 于 整个 区 间 [1, 1] 中 的 z 都 有 效 的 误差 |ez — Qs(z)| 的 
最 坏 情形 的 估计 . 当 用 Qs(z) 近似 e7 时 , 小 数 点 后 面 多 少 位 数字 将 是 准确 的 ? 

4. 对 区 间 [0.6, 1.0], 回答 习题 3 中 同样 的 问题 . 

5。 当 用 三 次 Chebyshev 插值 多 项 式 近似 f(x) = sinz 时 , RÆ [0, 2] 上 误差 的 上 界 . 
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.假设 要 用 Chebyshev 插值 去 求 区 间 [3, 4] 上 近似 f(z) = 1 的 三 次 插值 多 项 式 Qa(z). 


(a) 写 出 用 作 Qs 的 插值 节点 的 点 (z,y). (b) 求 对 于 区 间 [3, 4] 中 所 有 的 z 都 有 效 的 误 
差 |z-? -- Qa(z)| 的 最 坏 情形 的 估计 . 当 用 Qs(z) 近似 a 时 , 小 数 点 后 面 多 少 位 数字 
是 准确 的 ? 


。 假定 在 为 计算 器 设计 显示 小 数 点 右面 6 位 数字 的 In 键 , 求 在 区 间 [1, e] 上 的 Chebyshev 


插值 将 在 这 个 精度 内 近似 的 最 低 次 数 d. 


， 设 Tn(x) 表示 n 次 Chebyshev 多 项 式 , 求 T,(0) HAR. 
.确定 以 下 各 值 . (a) Tee9 (一 1); (b) Ti o00(—1); (c) Tbes(0); (d) Ti ooo(0); (e) Te9(—1/2); 


(£) Tı ooo(—1/2). 


计算 机 问题 3.3 


1. 


2. 


重新 建立 程序 3.3, 实现 在 区 间 [0, 中 上 4 个 节点 的 Chebyshev 插值 多 项 式 ( 仅 需 改变 
代码 中 的 一 行 ), 然后 画 出 在 区 闻 [—2, 2] 上 的 多 项 式 和 正弦 函数 . 

建立 MATLAB 程 序 , 用 Chebyshev 插值 计算 余弦 函数 , 准确 到 10 位 小 数 . 从 在 基本 定义 
域 [0, 3] 插值 开始 , 再 把 你 的 回答 推广 到 一 10* ~ 104 的 输入 . 你 可 能 要 用 本 章 中 已 有 的 
MATLAB 代 码 . 


.对 于 1074 ~ 104 的 输入 , 对 In z 执行 计算 机 问题 2 中 的 步骤 . 把 [1, e) 用 作 基 本 定义 域 . 


保证 10 位 准确 数字 的 插值 多 项 式 的 次 数 是 什么 ? 你 的 程序 应 该 从 求 整 数 使 得 es < 
cet! 开始 . 于 是 ce 落 在 基本 定义 域内 , 通过 比较 你 的 程序 与 MATLAB 的 1og 命 令 ， 
说 明 程序 的 精度 . 


。 设 f(z) = el*!, 通过 画 出 在 区 间 [1, 1) 上 的 等 距 插值 和 Chebyshev 插值 的 n 次 多 项 式 


(n=10 及 n=20) 来 比较 这 两 种 类 型 的 插值 . 对 于 等 距 插值 , 左边 和 右边 的 插值 基点 应 该 
是 -1 和 1. 通过 用 0.01 的 步 长 作 实例 试验 , 每 一 种 类 型 都 会 产生 实验 插值 误差 , 画 出 比 
较 图 . 在 这 个 问题 中 能 观察 到 Runge 现象 吗 ? 


.对 f(z) = e-”” 执行 计算 机 问题 4 RR. 


3.4 三 次 样 条 
样 条 相当 于 数据 插值 的 另 一 种 方法 . 在 多 项 式 插值 中 , 由 多 项 式 给 出 的 单个 公 


式 通过 所 有 的 数据 点 ， 样 条 的 想法 是 用 几 个 公式 , 每 一 个 是 经 过 数据 点 的 低 次 多 
项 式 . 


最 简单 的 样 条 例子 是 线性 样 条 , 其 中 以 直线 段 连结 各 点 . 假设 给 定 一 组 数据 点 


(21:41) s (En: Yn), 其 中 z1 <… < zn. 线性 样 条 由 n 一 1 条 直线 段 组 成 , 它们 连 
结 相 邻 的 一 对 点 . 图 3-12a 展示 了 线性 样 条 , 在 每 对 相 邻 点 (Ti, yi) (Titi Yiz) 之 
间 , 画 出 了 通过 这 两 点 的 线性 函数 y = ai + biz. 图 中 给 出 的 数据 点 是 (1, 2), (2, 1), 
(4, 4), (5, 3), 而 且 线 性 样 条 由 下 式 给 出 : 


Si(xz) =2-—(z-1), a € [1,2], 
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So(z)=14 ac —2), re (2,4), 
Ss(2)=4—(e-4), ze 了 下 (3.21) 


2 3 4 6° 
(a) (b) 


图 3-12 ”经 过 4 个 数据 点 的 样 条 : (a) 经 过 (1, 2), (2, 1), (4, 4), (5, 3) 的 
线性 样 条 , 包括 由 (3.21) 给 出 的 3 个 线性 多 项 式 ; (b) 由 (3.22) 
给 出 的 经 过 相同 的 点 的 三 次 样 条 


线性 样 条 成 功 地 插值 任意 一 组 n 个 数据 点 . 但 是 , 线性 样 条 缺少 光滑 性 (smoo- 
thness). 三 次 样 条 可 以 克服 线性 样 条 的 这 种 缺点 . 用 三 次 多 项 式 , 三 次 样 条 代替 了 
在 数据 点 之 间 的 线性 函数 . 

在 同样 的 点 (1, 2), (2, 1), (4,4), (5, 3) 处 进行 插值 的 三 次 样 条 的 例子 如 图 3-12b 
所 示 . 定义 样 条 的 方程 是 


Si(2)=2- Bee —1) + 02-19 + Se—1), z € [1,2), 
So(z)=1+ ie -2)+ Že 一 2)2 一 Se —2)3, xe [2,4 
S3(z)=4+ ie -4)— Fe 一 4)2 十 Ha 一 4)3，ze [4,5]. (3.22) 


特别 注意 在 基点 或 “ 结 点 "(z = 2 及 z = 4) 处 从 一 条 5; 到 下 一 条 曲线 的 光滑 
过 渡 . 这 是 通过 安排 样 条 的 相 邻 段 5; 和 Si. 在 结 点 处 求 值 时 有 相同 的 零 阶 、 一 阶 
及 二 阶 导数 而 达到 的 . 至 于 如 何 做 到 这 一 点 是 3.4.1 节 的 内 容 . 

BE n DA (Z1, 轴 ),… (En, Yn), 显然 有 且 仅 有 一 个 线性 样 条 经 过 这 些 数据 点 . 
对 于 三 次 样 条 , 这 一 点 将 不 再 正确 . 我 们 会 发 现 有 无 穷 多 个 三 次 样 条 经 过 任 一 组 数 
据点 . 在 必须 钉 住 一 个 特定 的 样 条 时 , 将 加 上 额外 条 件 . 


3.4.1 RITER 


为 了 使 三 次 样 条 的 性 质 更 确切 ， 我 们 作出 以 下 定义 : 假设 给 定 n 个 数据 点 
(21,91) , (En: Yn), 这 里 ri 互 不 相同 而 且 按 递增 次 序 . 经 过 数据 点 (zx1,y1),… ， 
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(tn, Yn) 的 三 次 样 条 S(z) 是 一 组 三 次 多 项 式 
Si(z) = y +b:(2 - 21) + c (2 — 21)? +d (2—21)°, zE [z1, 29], 
Sa(z) = y2 +bo(x — 22) + c2(z — 22)? + da(2 — 12)", z € (x0, z3], 


Sn—1(2) = Yn—1 + bn—1(Z — Zn-1) + Cn—1(Z — Zn—1)? + 
dn-1(2 — 2n-1)?, ze [Zn-1,2n], 
它 具有 以 下 性 质 : 
性 质 1 Si(zi) = Hi, Suits) = ist, i=1, ,nl. 
性 质 2 Sf_ (zi) = Si(zi), i=2,.… ,no 1. 
性 质 3 Si! (ai) = SY (zi), i=2, ,nl1. 


(3.23) 


性 质 1 保证 样 条 5(z) 插值 这 些 数据 点 , 性 质 2 使 得 样 条 的 相 邻 部 分 的 斜率 在 


它们 相遇 的 地 方 一 致 , 而 性 质 3 使 得 由 二 阶 导数 表示 的 曲率 相同 . 


例 3.13 ”检验 (3.22) 中 的 {Si, S2, S3} 对 数据 点 (1, 2), (2, 1), (4, 4), (5, 3) W 


足 所 有 的 样 条 性 质 . 
我 们 将 检验 所 有 3 个 性 质 . 
性 质 1 有 n=4 个 数据 点 , 我 们 必须 检验 


S51(1)=2 及 51(2)=1, 
S52(2)=1 及 S2(4) =4, 
Ss(4) =4 及 Sa(5) = 3. 
这 些 容易 从 定义 方程 (3.22) 中 得 出 . 
性 质 2 样 条 函数 的 一 阶 导数 是 
8 人 = -号 十 站 一 1)2 


Sia) = 5+ Pe -2)- Peay, 


4 
s= 4 - Fe- Peay, 
我 们 必须 检验 $4 (2) = S42) 及 $4(4) = $5 (4). 第 一 式 是 
-13 15 1 
ete? 


而 第 一式 是 1 15 15 1 
T+ 有 = T 
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两 个 都 检验 完毕 . 
性 质 3 二 阶 导 数 是 


Ste) = 2-1), 


SY(z) = T pe- 2), (3.24) 


SYy(z) = = + He- 4). 
我 们 必须 检验 5Y(2) = SY (2) 及 SY (4) = S4 (4), 两 个 都 是 正确 的 , 因此 (3.22) 是 三 
次 样 条 . < 

从 一 组 数据 点 构造 样 条 就 是 求 使 得 性 质 1~3 成 立 的 系数 bi, ci, di. 在 讨论 如 何 
确定 样 条 的 未 知 系数 bi, ci, di 之 前 , 让 我 们 清点 一 下 由 定义 施加 的 条 件数 . 性 质 1 
的 前 半 部 分 已 经 在 (3.23) 中 得 到 反映 ; 它 说 明 三 次 多 项 式 S: 的 常数 项 必须 是 yi. 
性 质 1 的 后 半 部 分 包括 n 一 1 个 独立 的 方程 , 其 被 我 们 考虑 为 未 知 量 的 系数 必须 得 
到 满足 . 性 质 2 和 性 质 3 各 自 加 上 n 一 2 个 方程 , 总 共 是 n 一 1+2(n-2)=3n-5 
个 要 满足 的 独立 方程 . 

有 多 少 个 未 知 系数 ?对 于 样 条 的 每 一 部 分 5;, 需要 3 个 系数 bi ci di, 总 共 是 
3(n — 1) = 3n — 3. 因此 , 求解 系数 是 一 个 求解 含 3n 一 3 个 未 知 量 的 3n — 5 个 线性 
方程 的 问题 . 除非 在 方程 组 中 存在 不 相 容 的 方程 (实际 上 并 没有 ), 否则 这 个 方程 组 
就 是 亚 定 方程 组 , 因此 有 无 穷 多 解 . RAL, 有 无 穷 多 条 三 次 样 条 经 过 这 组 任意 的 
数据 点 (1, ya)，… > (En, Yn). 

样 条 使 用 者 一 般 通过 添加 两 个 额外 的 方程 到 这 3n — 5 个 方程 中 , 以 得 到 含 m 
个 未 知 量 的 m 个 方程 的 方程 组 , 这 里 m = 3n — 3, 从 而 克服 这 个 缺点 . 除了 允许 使 
用 者 限制 样 条 于 给 定 的 详细 说 明 外 , 把 范围 缩小 到 一 个 解 简化 了 计算 和 描述 结果 . 

添加 另外 两 个 约束 的 简单 方法 不 仅 需 要 前 面 的 3n 一 5 个 约束 , 还 需要 样 条 S(z) 
在 定义 区 间 的 每 个 端点 有 一 个 反射 点 . 加 到 性 质 1~3 上 的 约束 是 

TERR 4a (自然 样 条 ) ”Sf(z1) =0 及 5%_i(zn) = 0. 

满足 这 两 个 附加 条 件 的 三 次 样 条 称 为 自然 三 次 样 条 . 注意 , (3.22) 是 自然 三 次 
FER, 这 是 因为 从 (3.24) 容易 验证 SY(1) = 0 及 $4(5) = 0 

还 有 其 他 一 些 方法 可 以 添加 两 个 额外 的 条 件 . 通常 ,如 在 自然 样 条 的 情形 那 
样 , 这 些 方法 都 要 确定 样 条 的 左右 端点 的 额外 的 性 质 , 所 以 称 它们 为 端点 条 件 (end 
condition). 我 们 将 在 3.4.2 节 讲 述 这 个 主题 , 但 是 现在 将 集中 在 自然 三 次 样 条 . 

既然 有 了 适当 的 方程 个 数 , 含 3n 一 3 个 未 知 量 的 3n 一 3 个 方程 , 我 们 就 能 够 写 
一 个 MATrAB 函 数 来 求解 样 条 系数 . 首先 , 写 出 关于 未 知 量 bi cidi 的 方程 , 性 质 1 
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的 第 二 部 分 就 意味 着 n 一 1 个 方程 : 


Ya=51(72) = y1 + b1 (2 — 21) + ei(z2 ~ 21)? + dh (a2 — 21), 


Yn =Sn-1(Tn) = Yn-1 + bn-i(Zn — Zn—1) + 
cn-l(zn 一 Zn-1)2 + dn-1(£n 一 Zn-1)3. (3.25) 


性 质 2 产生 n 一 2 个 方程 : 


0= Sj (x2) — $2(22) = bı + 2e1 (2 — 21) + 3d; (x2 ~ 11)? — b2 


0=Sh_o(@n—1) — Sh_a(@n-1) = bn_2 + 2cn_2(Tn_1 — Zn_2) 
+3dn—2(tn—1 — Tn-2)° — bn-1, (3.26) 


而 性 质 3 意味 着 n — 2 个 方程 


0=8S} (z2) — S3 (z2) = 2c1 + 6di(z2 — £1) — 2c2 


0=Sr-2(2n-1) — Sh-1(En-1) = 2cn-2 + 6dn-2(En-1 — Tn_2) — 2cn-1. (3.27) 


代替 解 这 种 形式 的 方程 , 通过 解 看 方程 能 够 大 大 简化 这 个 方程 组 . 用 少量 代数 
知识 , 可 以 先 解 有 关 ci 的 简单 得 多 的 方程 组 , 接着 求 出 用 已 知 的 ci 表示 的 对 于 bi 
和 di 的 显 式 公式 . 

如 果 引 入 额外 的 未 知 量 cn = S%_i(zn)/2, 这 在 概念 上 就 会 比较 简单 . 此 外 , 我 
们 引入 简化 符号 6; = cig 一 zi 及 Ai = will 一 ai BA (3.27) 就 能 解 出 系数 


-= GH TG 4 i= oo ras 
di Peden. (3.28) 
从 (3.25) 解 出 bi 得 到 
Ai â: õi 
bi= T — 016; — di6? = = — ciði — z- ci) 
Ai ôi 
8 Hence, | (3.29) 


把 (3.28) 和 (3.29) 代入 (3.26) 得 到 以 下 n 一 2 个 关于 c1,… ,cn 的 方程 : 
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A. A 
ôıcı + 2(ð1 + bz)cz + dac3 = 3 (2 = 3) ， 
2 1 


Ane Ane 
Sn-26n—2 + 2(5n—2 + Sn—1)Cn—1 + ôn-16n = 3 (G2 nf Sea) s 


On-1 bn-2 
两 个 增加 的 方程 由 自然 样 条 条 件 (性 质 4a) 给 出 : 


Si (z1) =0— 2c =0, 
S’_1(zn) = 0 > 2cn = 0. 


这 就 给 出 n 个 未 知 量 ci 的 总 共 nn 个 方程 , 可 以 写成 矩阵 形式 : 


fu 0 0 a 
61 261 + 26 E A 
0 h 252 +253 63 


6n-2 26n-2+26n-1 bn-1 
0 0 1 Cn 


(3.30) 


FH (3.30) 确定 c1,… ,cn, 再 从 (3.28) 及 (3.29) RHH bi, ++ ,bn-1 及 由 ,dn_1. 

注意 (3.30) 对 于 ci 永远 可 解 . 它 的 系数 矩阵 严格 对 角 占 优 , 所 以 根据 第 2 章 
的 定理 2.9, 对 于 ci 存在 唯一 解 , 对 bi 和 ci 也 是 这 样 . 于 是 证 明了 下 面 的 定理 . 

定理 3.9 hn > 2, 对 于 一 组 数据 点 (ZT1,Y1),… , (Tn,yn), KP zi 互 不 相同 ， 
存在 唯一 的 自然 三 次 样 条 拟 合 这 些 点 . 


自然 三 次 样 条 
给 定 = = [zw1,… ,zn], 这 里 zl < … < X = [yy ,Yn] 
for i=1,---,n—1 
aH 


Ôi = Ginn — Ti 
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Ai = Yiyi — Yi 
end 
求解 (3.30) 得 到 c1,… ,cn 
for i=1,..…,n—1 

di Ci+1 — Ĉi 

b = A se 全 (2c + ci) 
end 


在 区 间 [zi ri) 上 的 自然 三 次 样 条 是 


Sila) = a; +bi(z — 24) + cila- ai)? +di(w@—2i)®, i=l, nl 


例 3.14 KBE (0, 3), (1, -2), (2, 1) 的 自然 三 次 样 条 . 
Zz 坐标 是 zi = 0,za = l, za = 2. y 坐标 是 a = yi = 3,02 = y2 = —2,03 = ys = 
1, 并 且 差 是 6 = ô = 1, Al = -5, A2 = 3. 三 对 角 和 矩阵 方程 (3.30) 是 


1 0 0 
1 4 1 
0 0 1 


b= 全 -Qa +e) = -5-3(0)=-7 
n=- 220m +09) =3- 512) = 
因此 , 三 次 样 条 是 


Si(z) = 3 — 7x + 02? + 223, z € [0,1]. 
S2(2) = -2 — 1(2 — 1) + 6(z — 1)? — 2(@ — 1,2 € [1,2]. 


这 种 计算 的 MaTLAB 代 码 如 下 : 对 于 不 同 的 (不 是 自然 的 ) 端点 条 件 (在 3.4.2 
节 中 讨论 ), (3.30) 的 第 一 行 和 最 后 一 行 被 其 他 合适 的 行 代替 . 
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%Program 3.5 Calculation of spline coefficients 
Calculates coefficients of cubic spline 

$%Input: x,y vectors of data points 

% plus two optional extra data vl, vn 

SOutput: matrix of coefficients bl,cl,d1;b2,c2,d2;... 
function coeff=splinecoeff (x,y) 

n=length (x) ;v1=0;vn=0; 


eros (n,n); % matrix A is nxn 
r=zeros(n,1); 
for i=l:n-1 % define the deltas 


dx(i)= x(i+1)-x(i); dy (i) =y(i+1)-y (i); 

end 

for i=2:n-1 % load the A matrix 
A(i,i-1:i+1)=[dx(i-1) 2*(dx(i-1)+dx(i)) dx(i)]; 
x (i) =3* (dy (i) /dx (i) -dy (i-1) /dx(i-1)); % right-hand side 


end 
% Set endpoint conditions 
% Use only one of following 5 pairs: 


A(1,1) = 1; % natural spline conditions 

A(n,n) = 1; 

%A(1,1)=2;r(1)=vl; % curvature-adj conditions 
%A(n,n)=2;x(n)=vn; 

$A(1,1:2)=[2*dx(1) dx(1)];r(1)=3* (dy(1)/dx(1)-v1); %clamped 


$A(n,n-1:n)=[dx(n-1) 2*dx(n-1)];x(n)=3* (vn-dy (n-1) /dx(n-1)); 
; % parabol-term conditions, for n>=3 
=(1 -1]; 

%A(1,1:3)= -(dx(1)+āx(2)) dx(1)]; % not-a-knot, for n>=4 
%A(n,n-2:n)=[dx(n-1) - (dx(n-2)+dx(n-1)) dx(n-2)]; 
coeff=zeros(n,3); 
coeff (:,2)=A\r; % solve for c coefficients 
for i=l:n-1 % solve for b andd 

coeff (i,3)=(coeff (i+1,2)-coeff(i,2))/(3*dx(i)); 

coeff (i,1)=dy (i) /ax(i) -dx (i) * (2*coeff (i,2)+coeff (i+1,2))/3; 


end 
coeff=coeff(1:n-1,1:3); 


我 们 已 经 取得 了 列 出 关于 端点 条 件 的 其 他 选择 的 自由 , 尽管 现在 没有 说 明 它 


们 . 在 3.4.2 节 将 讨论 其 他 可 能 的 条 件 . 另 一 个 MATLAB 函 数 命名 为 splineplot .nm， 
调用 splinecoeff .m 可 以 得 到 系数 并 画 出 三 次 样 条 . 


Program 3.6 Cubic spline plot 

*Plots spline from data points 

‘Input: x,y vectors of data points 

%Output: none 

function splineplot (x,y) 

n=length(x); coeff=splinecoeff (x,y); 

clf;hold on; 

for i=l:n-1 % clear figure window and turn hold on 
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x0=linspace(x(i),x(i+1),100); 
dx=x0-x (i); 

yO=coeff(i,3)*dx; % evaluate using nested multiplication 
y0=(y0+coeff(i,2)).*ax; 

y0=(y0+coef£(i,1)).*dxty (i); 


plot ([x(i) x(i+1)],[y(i) y(i+1)],'0',x0,y0) 
end 
hold off 
3-13a 描述 了 用 splinecoeff .m. 生 成 的 自然 三 次 样 条 . 
3.4.2 ”端点 条 件 


性 质 4a 中 确定 的 两 个 额外 条 件 称 为 自然 样 条 的 “端点 条 件 ”. 要 求 这 些 条 件 与 
性 质 1~3 一 起 被 满足 , (按照 定理 3.9) 把 范围 缩小 到 恰好 一 个 三 次 样 条 . 这 说 明 有 
性 质 4 的 许多 不 同形 式 , 即 许多 其 他 端点 条 件 , 对 此 , 一 个 类 似 的 定理 成 立 . 本 节 提 
出 几 个 比较 常见 的 . 

TER 4b (曲率 - 调 准 三 次 样 条 ) ”对 自然 三 次 样 条 的 第 一 个 替换 需要 置 SY(z1) 
和 S%_1(zn) 为 使 用 者 选取 的 任意 非 零 值 . 这 种 选取 对 应 于 在 样 条 的 左右 端点 设置 
所 要 的 曲率 . 根据 (3.23), 这 就 转化 成 两 个 额外 条 件 


2c1 =v, 2cn = Up, 


这 里 01, on 表示 所 要 的 值 . 方程 变 成 两 行 表格 


来 代替 (3.30) 中 对 自然 样 条 所 加 上 去 的 第 一 行 和 最 后 一 行 . 注意 新 的 系数 矩阵 也 
是 严格 对 角 占 优 , 所 以 对 于 曲率 - 调 准 样 条 而 言 定理 3.9 的 一 般 形式 成 立 ，( 见 下 面 
即将 提出 的 定理 3.10.) 在 splinecoeff .m 中 , 这 两 行 
A(1,1)=2;r(1)=vl; % curvature-adj conditions 
A(n,n)=2;xr(n)=vn; 


必须 替换 自然 样 条 中 现 有 的 两 行 . 

下 一 个 端点 条 件 的 取舍 是 

性 质 4c (夹子 三 次 样 条 ) ”这 种 选择 与 前 一 种 类 似 , 但 是 , 它 是 一 阶 导数 51(z1) 
及 54_1(zn), 它们 被 设置 为 使 用 者 分 别 指定 的 值 Boon. 于 是 在 样 条 的 起 点 和 终 
点 的 斜率 就 在 使 用 者 的 控制 之 下 . 

利用 (3.28) 及 (3.29), 我 们 可 以 把 额外 条 件 5S1(z1) = vi 写成 


261c1 + 61c2 =3 全 一 n) 
6 
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并 把 5%_1(zn) = vn 写成 


An- 
Gn_icn_1 + 2őn—1Cn = 3 (o ar a) . 


相应 的 两 行 表格 是 
26) 6: 0 Over ee 0 0 0 | 3A/6—m) 
0 D0 0 i 0 ôni 26n1 | 3(vn—An-i/6n1) | 


注意 , (3.30) 中 修改 过 的 系数 矩阵 也 是 严格 对 角 占 优 , 因此 定理 3.9 在 自然 样 
条 被 夹子 样 条 代替 后 也 成 立 . 在 splinecoeff .mn 中 , 这 两 行 


A(1,1:2)=(2*dx(1) dx(1)];r(1)=3* (dy (1) /dx(1)-v1); 
A(n,n-1:n)=[dx(n-1) 2*dx(n-1)];xr(n)=3* (vn-dy (n-1) /dx(n-1)); 


必须 被 替换 . 关于 取 v = vn = 0 的 夹子 样 条 , 见 图 3-13. 


图 3-13 ”经 过 6 个 点 的 三 次 样 条 . 图 是 用 splinecoeff .m 以 输入 向 量 x 
[0 1 2 3 4 5] 及 y = [314120] 生 成 的 : (a) 自然 三 次 样 
条 (注意 在 端点 的 反射 点 ); (b) 非 节点 的 三 次 样 条 (在 [0, 2] 和 
[3, 5] 上 的 三 次 方程 ); (c) 末端 抛物 线 样 条 ; (d) 夹子 三 次 样 条 
(在 两 端点 斜率 0 处 夹 住 ) 
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性 质 4d (末端 抛物 线 三 次 样 条 ) ” 样 条 的 第 一 部 分 和 最 后 部 分 , 51 及 Spt, 
通过 指定 d = 0 = dn_1 被 限制 成 最 多 是 二 次 的 . 等 价 地 , 根据 (3.28) 我 们 可 以 要 
Kcr = cz 及 cn-1 = Cn. 这 两 个 方程 形成 的 两 行 表格 


1 10 0.0 0 000/]0 
00000: 01-110 


将 被 用 作 (3.30) 的 第 一 行 和 最 后 一 行 . 假设 数据 点 的 个 数 n WE n > 3. (n= 2 W 
情形 见习 题 17.) 在 这 种 情形 下 , 用 co 代替 ci, 用 cna 代替 cn, 我 们 发 现 矩阵 方程 
退化 为 关于 co,… ,cn_1 的 严格 对 角 占 优 (n — 2) x (n — 2) 矩阵 方程 . 因此 , 定理 
3.9 的 形式 对 于 末端 抛物 线 样 条 成 立 (假设 n > 3). 

在 splinecoeff .m 中 , 这 两 行 


A(1,1:2)=[1 -1]; % parabol-term conditions 
A(n,n-1:n)=[1 -1]; 


必须 被 替换 . 

TER 4e ( 非 节点 的 三 次 样 条 ) ”两 个 加 进去 的 方程 是 di = dz 及 dn_2 = dn-1, 
或 者 等 价 地 , S (z2) = SY (22), S42(zn-1) = S41(Zn-1). 因为 Si 及 52 是 次 数 小 
于 等 于 3 的 多 项 式 , 要 求 它们 的 三 阶 导数 在 zl 处 相等 , 而 它们 的 零 阶 、 一 阶 及 二 
阶 导 数 已 经 在 r, 处 相等 , 使 得 S 和 52 是 恒 等 的 三 次 多 项 式 (三 次 多 项 式 由 4 个 
系数 确定 , 因此 由 4 个 条 件 所 确定 ), 所 以 并 不 需要 za 作为 基点 : 通过 在 整个 区 间 
[zi, za] 上 相同 的 公式 S = So 给 出 样 条 . 同样 的 推理 说 明 Sn- = Sn-_1, 所 以 不 仅 
ao ME. tn 也 是 “不 再 为 节点 ”. 

注意 , dy = d 意味 着 (c2 — c1)/51 = (cs — ca)/52, 或 者 


2c, — (51 + 62)c2 + bics = 0, 
而 且 同样 地 , dn-2 = dm-1 意味 着 


6n—10n—2 — (bn -2 + 6n-1)cn-1 + 6n-2cn = 0. 


这 样 得 到 的 两 行 表格 是 
62 —(61+62) 61 Ove 0 0 0 om i 
0 0 0 O-- + 0 ón- —(in-2+4n-1) dna | 0 


在 splinecoeff .mn 中, 这 两 行 
R(1,1:3)=[dx(2) -(dx(1)+dx(2)) dx(1)]; % not-a-knot conditions 
A(n,n-2:n)=[dx(n-1) -(dx(n-2)+dx(n-1)) dx(n-2)]; 


要 用 到 . 图 3-13b 描述 了 非 节 点 三 次 样 条 的 例子 , 并 与 经 过 相同 数据 点 的 图 3-13a 
的 自然 样 条 进行 了 比较 . 
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如 前 面 提 及 , 对 前 面 每 种 端点 条 件 的 选取 , 存在 类 似 于 定理 3.9 的 定理 . 
定理 3.10 ”假设 n> 2. 对 一 组 数据 点 (T1, 胡 ),… (En Yn) 以 及 任何 一 种 由 
性 质 4a ~ 4c 给 出 的 端点 条 件 , 存在 唯一 的 三 次 样 条 满足 端点 条 件 并 且 拟 合 了 这 些 
RMF n> 3 的 性 质 4d, 以 及 对 于 n> 4 的 性 质 4e, 上 述 亦 真 . 
MATLAB 的 默认 spline 命 令 在 给 出 4 个 或 更 多 个 点 时 , 构造 了 非 节 点 样 条 . 设 x 
和 Y 分 别 是 包含 zi 及 yi 数据 值 的 向 量 , 那么 非 节 点 样 条 在 另 一 个 输入 x0 处 的 y 坐 
标 通过 MATLAB 命 令 
>> yO = spline(x,y,x0); 
算得 . 
如 果 x0 是 z 坐标 的 向 量 , 那么 输出 yo 相应 地 将 是 y 坐标 的 向 量 , 适用 于 绘图 ， 
等 等 . 另外 , 如 果 向 量 输入 y 恰 好 比 x 多 两 个 输入 , 就 取 夹 子 v 和 vn 等 于 y 的 第 一 个 
和 最 后 一 个 分 量 , 计算 这 种 夹子 三 次 样 条 . 
习题 3.4 
1. 确定 以 下 方程 是 否 构成 三 次 样 条 : 
_ f zs+z-lbzel0l1 
(a) S(@)= { —(e—1)8 + 3 — 1)? +3(æ-1)+1, z € [1,2] 
_ f 2% +27+42+5, zE [0,1] 
(b) SG) 一 { (@— 1) + W(@—1)? + 12(@ — 1) +12, z € [1,2] 
， (a) 对 下 式 检验 样 条 条 件 : 
Si(z) = 14 2 + 327 + 42, ze [0,1] 
So(x) = 10 + 20(z — 1) + 15(x — 1)? + 4(@ — 1), z € [1,2] 
(b) 不 管 你 对 (a) 的 答案 , 确定 以 下 的 任何 额外 条 件 是 否 满足 这 个 例子 ; 自然、 末端 抛 
物 线 和 非 节点 . 
3. 在 下 面 的 三 次 样 条 中 求 出 c. 自然 、 末 端 抛物 线 和 非 节点 , 这 三 种 端点 条 件 中 的 哪 一 种 是 
满足 的 ( 若 有 的 话 )? 


11 3 
4— —r + =r’, z € [0,1] 
(a) S(z) = EA 3 
2-5(@-1) +e(@-1? - F(@-1), ze [1,2] 


Y 


_ f 3-92442?, z € [0,1] 
() se { -2-(e@-1)+e(2-1)%, z € [1,2] 
2-324 Fo? 29, z € (0,1) 
(c) S(2) = “1+ ee -1)+ 5e- 1}? - (z - 1}, zen 


1436-3- 5-2- (2-2, ze [2,3] 
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. 在 下 面 的 三 次 样 条 中 求 出 ki, ko, ks. 三 种 端点 条 件 (自然 、 末端 抛物 线 和 非 节 点 ) 中 的 哪 


一 种 满足 的 (车 有 的 话 )? 
44 ke +22? 一 ze, z € [0,1] 
S(e)=4 1- HG -1)+k(z- 1) — je- 1), ze [1,2] 


1+ koa —2) + (2-2)? — F(e-2), z € [2,3] 


， 对 给 定 的 数据 (0, 0), (1, 1), (2, 2), 存在 多 少 个 [0, 2] 上 的 自然 三 次 样 条 ? 描述 一 个 这 样 


的 样 条 . 


. 求 经 过 数据 点 (0, 1), (1, 1), (2, 1), (3, 1), (4, 1) 的 末端 抛物 线 三 次 样 条 . 这 个 样 条 也 是 


非 节点 的 吗 ? 是 自然 的 吗 ? 


， 解 方程 (3.30), 求 经 过 以 下 3 点 (a) (0, 0), (1, 1), (2, 4); (b) (-1, 1), (1, 1), (2, 4) 的 自 


然 三 次 样 条 . 
。 解 方程 (3.30), 求 经 过 以 下 3 点 (a) (0, 1), (2, 3), (3, 2); (b) (0, 0), (1, 1), (2, 6) 的 自然 
三 次 样 条 . 
， 求 三 次 样 条 
Si(z) =3+bhz+zs x € [0,1] 
So(x) = 1+ ba(z — 1) +3(z — 1)? - Az — 1), z € [1,3] 
的 S'(0) 及 S'(3). 


， 判 断 对 错 : 给 定 n = 3 个 数据 点 , 经 过 这 些 点 的 末端 抛物 线 三 次 样 条 必 是 非 节点 样 条 . 
。 (a) 对 给 定 的 数据 (0, 2), (1, 0), (2, 2), 有 多 少 个 [0, 2] 上 的 末端 抛物 线 三 次 样 条 ? 


(b) 对 非 节点 , 回答 同样 的 问题 . 


对 给 定 的 数据 (1, 3), (3, 3), (4, 2), (5, 0), 有 多 少 个 非 节点 三 次 样 条 ? 描述 一 个 这 样 的 


样 条 . 


.三 次 样 条 可 以 既是 自然 的 又 是 末端 抛物 线 的 吗 ? 如 果 可 以 , 关于 这 样 的 样 条 你 还 能 说 些 


什么 ? 


。( 同 时 ) 存在 通过 一 组 zt 互 不 相同 的 数据 点 (zi, y1),--- , (2100, 100) MAR. ASTD 


线 和 非 节点 的 三 次 样 条 吗 ? 如 果 存在 , 给 出 理由 . 如 果 不 存在 , 解释 为 了 使 这 样 的 样 条 存 
在 , 在 这 100 个 点 上 必须 满足 什么 条 件 ? 


. 假设 给 定 的 自然 三 次 样 条 的 最 左边 都 是 常数 函数 S1(z) = 1,2 € [-1,0]. 求 在 [0, 1] 上 


的 相 邻 部 分 Sa(z) 的 3 种 不 同 的 可 能 . 


.假设 一 辆 汽车 沿 着 直线 从 一 点 到 另 一 点 行驶 , 在 时 刻 上 = 0 从 一 个 地 点 出 发 , 在 时 刻 t= 1 


到 另 一 个 地 点 停止 . 沿 着 道路 的 距离 是 在 0 与 1 之 间 某 些 时 刻 抽 样 . 哪 一 种 三 次 样 条 ( 根 
据 端点 条 件 ) 最 适合 描述 距离 与 时 间 的 关系 曲线 ? 


.对 于 末端 抛物 线 三 次 样 条 , 情形 n = 2 没有 被 定理 3.10 覆盖 . 讨论 这 种 三 次 样 条 的 存在 


性 与 唯一 性 . 


. Án=2 及 n= 3 时 , 讨论 非 节点 三 次 样 条 的 存在 性 和 唯一 性 . 
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计算 机 问题 3.4 


1, 


2. 


3. 


12. 


13. 


求 插值 数据 点 (a) (0, 3), (1, 5), (2, 4), (3, 1), (b) (-1, 3), (0, 5), (3, 1), (4, 1), (5, 1) 的 
自然 三 次 样 条 的 方程 并 画图 . 

求 插值 数据 点 (a) (0, 3), (1, 5), (2, 4), (3, 1), (b) (一 1 3); (0, 5), (3, 1), (4, 1), (5, 1) 的 
非 节点 三 次 样 条 并 画图 . 

求 满足 S(0) = 1, S(1) = 3, S(2) = 3, S(3) = 4, S(4) = 2 以 及 5S”(0) = 5S”(4) = 0 的 三 
次 样 条 5 并 画图 . 


。 求 满足 S(0) = 1, S(1) = 3, S(2) = 3, S(3) = 4 S(4) = 2 UR 3"(0) = 3, S"(4) =2 的 


SUR S 并 画图 . 


. RBA S(0) = 1, S(1) = 3, S(2) = 3, S(3) = 4, S(4) = 2 以 及 S'(0) =0, S'(4) = 1 的 三 


次 样 条 S 并 画图 . 


。 求 满足 S(0) = 1, S(1) = 3, S(2) = 3, S(3) = 4, S(4) = 2 以 及 3'(0) = -2, S'(4) = 1 $ 


三 次 样 条 S 并 画图 


RE [0, 下 ( 包 括 端点 ) 中 的 5 个 等 距 的 点 插值 f(z) = cose 的 夹子 三 次 样 条 . 为 了 极 小 


化 插值 误差 S'(0) 及 S'(x + 2) 的 最 佳 选择 是 什么 ? 画 出 在 [0, 2] 上 的 样 条 及 cose. 


， 对 函数 f(x) = sinz, 执行 计算 机 问题 7 中 的 步骤 . 
, 求 在 [1, 3]( 包 括 端点 ) 中 的 5 个 等 距 的 点 插值 f(z) = Ine 的 夹子 三 次 样 条 . 以 实验 为 基 


础 求 在 [1, 3] 上 最 大 的 插值 误差 . 


.在 计算 机 问题 9 中 要 求 产生 的 最 大 插值 误差 最 多 是 0.5 1077, 求 插值 结 点 的 个 数 . 
+ (a) 考虑 经 过 在 计算 机 问题 3.1.1 中 的 世界 人 口 数据 点 的 自然 三 次 样 条 . 计算 1980 年 的 


值 , 并 且 与 准确 的 人 口 数 比较 . (b) 用 线性 样 条 估计 在 1960 年 及 2000 年 的 斜率 , 并 用 这 
些 斜 率 求 经 过 这 些 数据 点 的 夹子 三 次 样 条 . 画 出 样 条 并 估计 1980 年 的 人 口 . 哪 一 种 估计 
更 好 , 自然 的 还 是 夹子 的 ? 

回忆 习题 3.1.13 的 二 氧化 碳 数据 . (a) 求 经 过 这 些 数据 点 的 自然 三 次 样 条 并 画图 , 为 1950 
年 的 二 氧化 碳 浓度 计算 这 个 样 条 估计 . (b) 对 末端 抛物 样 条 执行 同样 的 分 析 . (c) 非 节点 
样 条 如 何不 同 于 习题 3.1.13 的 解 ? 

在 单个 图 中 , 描述 经 过 计算 机 问题 3.2.3 中 世界 石油 产量 数据 点 的 自然 、 非 节点 以 及 末端 
抛物 线 三 次 样 条 . 


3.5 Bézier 曲线 
Bézier 曲线 是 允许 用 户 控制 在 节点 处 斜率 的 样 条 . 作为 这 种 额外 自由 的 代价 ， 


是 不 再 保证 3.4 节 中 的 三 次 样 条 自动 具有 的 特性 , 即 经 过 节点 的 一 阶 及 二 阶 导数 的 
光滑 性 . Bézier 样 条 适用 于 以 下 偶而 会 需要 的 场合 : AA (一 阶 导数 不 连续 ) 以 及 
曲率 急剧 变化 (二 阶 导 数 不 连 续 ). 


Pierre Bézier 为 雷诺 汽车 公司 工作 时 产生 了 这 种 想法 . 在 另 一 家 竞争 的 汽车 公 


司 雪铁龙 工作 的 Paul de Casteljau 也 独立 地 发 现 了 同样 的 想法 . 它 被 两 家 公司 当 
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作 商业 秘 密 , 而 且 当 Bézier 发 表 他 的 研究 后 , 大 家 才 知 道 原来 两 人 英雄 所 见 略 同 . 
今天 , Bézier 曲线 已 成 为 计算 机 辅助 设计 和 制造 的 基础 . 


每 一 段 平面 Btzier 样 条 由 4 个 点 (z1,y1), (22,92), (23, y3), (£4, y4) 确定 ， 第 
一 个 点 和 最 后 一 个 点 是 样 条 曲线 的 端点 , 而 中 间 两 个 点 是 控制 点 (control point), 如 
图 3-14 Bras. 曲线 沿 着 切线 方向 (za - z1,yz 一 如) 从 (tim) WR, 并且 沿 着 
切线 方向 (z4 — z3, ya — ys) 在 (wa, ys) 终止 . 完成 这 一 切 的 方程 表示 为 参数 曲线 
(a(t), y@),0<t<1 


图 3-14 Bl 3.15 中 的 Bézier 曲线 . (zi,yi) 和 (za,ya) 是 样 条 点 ， 而 
(x2, y2) 和 (z3, ys) 是 控制 点 


Bézier 曲线 
给 定 端点 (21,91), (za, ya) 
控制 点 (x2,y2), (23, y3) 
$ 


bz = 3(22 — 21) 

Cz = 3(T3 — T2) — bz 

dz = T4 — T1 — bz — Cz 

by = 3(y2 — m1) 

Cy = 3(ys — y2) — by 

dy = y4 — Y1 — by — Cy. 
对 0 < t< 1, Bézier 曲线 定义 为 


a(t) = zl + bet + cet? + dt? 
y(t) = yı + byt + cyt? + dyt.” 


从 方程 中 容易 检验 上 一 段落 中 的 声明 . 事实 上 , 根据 习题 9， 
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z(0) = z1, 

z'(0) = 3(z2 — z1), 

2(1) = 24, 

z'(1) = 3(x4 — 23), (3.31) 


而 且 对 y(t) 也 有 类 似 的 事实 成 立 . 

例 3.15 RAL (1, 1), (2, 2) 且 其 控制 点 为 (1, 3) 和 (3, 3) 的 Bézier 曲线 
(a(t), y(t)). 

4 个 点 分 别 是 (z191) = (1,1), (22,92) = (1,3), (£3193) = (3,3), (24, y4) = 
(2,2). H Bézier 公式 得 到 bs =0, cz = 6, dz = 一 5, by = 6, cy = —6, dy = 1. Bézier 
样 条 

a(t) = 1 + 6¢? — 523, 
y(t) =1+ 6t — 6t? +t? 
与 控制 点 一 起 展示 在 图 3-14 中 . < 

Bézier 曲线 是 能 够 搭 起 来 拟 合 任何 函数 值 和 和 斜率 的 构造 块 (building block). 在 
节点 处 的 斜率 可 以 按 用 户 要 求 而 确定 , 在 这 种 意义 上 , 它们 是 对 三 次 样 条 的 一 种 改 
进 . 然而 , 这 种 自由 会 带 来 光滑 度 的 损失 : 从 两 个 不 同 的 方向 , 二 阶 导数 在 节点 处 
一 般 不 相等 . 在 某 些 应 用 中 , 这 种 不 相等 反而 是 一 种 优点 . 

作为 特殊 情形 , 当 控 制 点 等 于 端点 时 , 如 例 3.16 所 示 , 样 条 就 是 简单 的 直线 段 . 

例 3.16 在 (21,41) = (z2,y2) 以 及 (z3,y3) = (z4, y4) 时 , 证 明 Bézier 样 条 是 
HRBL Bézier 公式 表明 , 方程 是 


a(t) = 21 + 3(x4 — z1)t? — 2(z4 — 21)t3 = zl + (z4 — £1)t2(3 — 2t), 
u(t) = y1 + 3(ya — y1)? — 2(ya — y1)t? = y1 + (ya — 21)E7(3 — 2t). 


HHO <t< 1. 在 样 条 上 的 每 一 点 具有 形式 


(x(t), y(t) = (z1 + (wa — 21), y1 + r(ya — 1) 
= ((1 — r)zı + rza, (1 — rT)y + rya), 


这 里 " = t? (3 - 2). 因为 <r <1, 所 以 每 一 点 落 在 连接 (zi 加) 和 (z4, y4) 的 直 
线段 上 . < 

Bézier 曲线 易于 编程 , 而 且 经 常用 于 绘图 软件 . 平面 中 的 手 画 曲线 可 以 看 作 是 
参数 曲线 (z(t),y(t)), 可 以 用 Bézier 样 条 表示 . 方程 都 是 在 以 下 的 MATLAB 手 工 绘 
图 软件 中 实现 . 用户 点 击 和 鼠标 两 次 以 固定 平面 中 的 一 个 点 , 一 次 点 击 确定 起 始点 
(x0, Yo), 第 二 次 点 击 标记 沿路 径 预定 方向 的 第 一 个 控制 点 . 另外 点 击 两 次 , 确定 第 
二 个 控制 点 和 终点 , 在 这 两 个 点 之 间 画 出 Bézier 样 条 . 每 连续 三 次 点 击 鼠 标 会 把 前 
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一 个 样 条 点 用 作 下 一 段 的 起 点 , 使 曲线 向 前 进一步 延伸 . MATLAB 命 令 ginput 用 来 
读 取 鼠 标 位 置 和 按键 的 动作 . 图 3-15 显示 了 draw.m 的 截屏 . 


图 3-15 ”绘制 用 Bézier 曲线 编写 的 程序 3.7. draw.m 绘 制 的 屏幕 图 , 包括 
在 每 一 个 控制 点 的 方向 向 量 


多 Program 3.7 Freehand Draw Program Using B\'ezier Curves 

%Left click in MATLAB figure window to locate endpoint, and click 

$ three more times to specify 2 control points and the next 

% spline endpoint. Continue with groups of 3 points to add 

% more to the curve. Right-click to terminate program. 

function draw 

hold off 

plot ({-1 1], [0,0], 'k', [0 0], [-1 1],'k');hold on 

xlist=(];ylist=[];t=0:.02:1; 

button=1;k=0; 

while(button ~= 3) % if right click, terminate 
(xnew, ynew, button] = ginput(1); % get one mouse click 


if button % current click is a left click 
k=k+1; % k counts clicks 
xlist (k)=xnew; ylist (k)=ynew; % add new point to the list 
if kel % After first input point: 
if mod(k,3) == 1 % Wait for three new input points, 


:4 % gather the previous four points 
‘List (k-i+1); 
list (k-i+1); 
% Plot spline points and control pts 
plot({x(1) x(2)],ly(1) y(2)],'c:',x(2),y (2), 'cs'); 
plot ({[x(3) x(4)), [y (3) y(4)],'c:',x(3),y (3), 'cs'); 
plot (x(1),y(1),'bo',x(4),y(4),'bo'); 
bx=3* (x(2)-x(1)): by=3*(y(2)-y(1));% spline equations 
* (x(3)-x (2) ) -bx; cy=3* (y (3) -y (2) ) -by; 
(4) -x (1) -bx-cx; dy=y (4) -y (1) -by-cy; 
xp=x(1)+t.* (bx+t.* (cx+t*dx) ) ; % nested multiplication 
yp=y (1) +t.* (by+t.*(cy+t*dy)); 
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plot (xp, yp) % Plot spline curve 
end 
end 
end 
end 


虽然 我 们 的 讨论 一 直 限 制 在 二 维 Bézier 曲线 , 但 是 定义 的 方程 容易 推广 到 三 
维 , 在 三 维 空间 中 称 为 Bézier 空间 曲线 . 就 像 在 二 维 中 的 一 样 , 这 种 样 条 的 每 一 段 
需要 4 个 (z,y,z) 点 : 两 个 端点 和 两 个 控制 点 . 我 们 在 习题 中 研究 Bézier 空间 曲线 
的 例子 . 


习题 3.5 


1. 求 由 给 定 的 4 个 点 所 确定 的 一 般 Bézier 曲线 (x(t), y(t): 
(a) (0, 0), (0, 2) (2, 0), (1, 0); (b) (1, 1), (0, 0), (~2, 0), (—2, 1); (e) (1, 2), (1, 3), 
(2, 3), (2, 2). 
2. 对 下 面 的 一 段 Bézier 曲线 求 第 一 个 端点 、 两 个 控制 点 和 最 后 一 个 端点 . 
x(t) = 1+ 6t + 243, w(t) =3 + 4¢ —¢? +248, z(t) =2+0?—-2, 
四 ce er (a =2-142438, © i =1-t426, 
. RH 3 Bk Bézier 曲线 形成 项 点 为 (1, 2), (3, 4), (5, 1) 的 三 角形 . 
构造 形成 边 长 为 5 的 正方 形 的 4 Bt Bézier 样 条 . 
求 在 端点 (—1, 0) 及 (1, 0) 处 有 垂直 切线 而 且 通过 (0, 1) 的 一 段 Bézier 样 条 . 
e 求 在 端点 (0, 1) 处 有 水 平 切 线 , 在 端点 (1, 0) 处 有 垂直 切线 , 并 且 在 t = 1/3 时 通过 (1/3, 
2/3) 的 一 段 Bézier FER. 
7. 求 由 给 定 的 4 点 所 确定 的 一 段 Bézier 空间 曲线 (z(t), y(t), z(t)). 
(a) (1, 0, 0), (2, 0, 0), (0, 2, 1), (0, 1, 0); 
(b) (1, 1, 2), (1, 2, 3), (-1, 0, 0), (1, 1, 1); 
(c) (2, 1, 1), (3, 1, 1), (0, 1, 3), (3, 1, 3). 
8. RUF Bizier 空 间 曲 线 的 节点 及 控制 点 . 


a(t) = 1+ 6t? + 24°, x(t) = 3+ 4t—2t? +283, a(t) =2+¢—-25, 
(a) | (b) | (e) 


Sane 


y(t) =1-t+83, y(t) = 2—t+t +32, y(t) =1— t+ 26°, 
z(t) 一 工 十 上 十 6t2; 2(t)=3+t+0?—83; z(t) = 213. 


9. 证 明 (3.13) 中 的 事实 , 并 解释 它们 是 如 何 证 明 Bézier 公式 的 . 
计算 机 问题 3.5 


1. 画 出 习题 5 中 的 曲线 . 
2. 画 出 习题 6 中 的 曲线 . 
3. 从 Bézier 曲线 画 出 字母 (a) W, (b) B, (c) C, (d) D. 


实例 检验 3 Bézier 曲线 中 的 PostScript 字体 
在 这 个 项 目 中 , 我 们 解释 如 何 用 二 维 Bézier 曲线 画 字母 和 数字 . 可 以 通过 在 程序 3.7 中 
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修改 MATLAB 代 码 , RS — PostScript 文件 来 实现 . 
PostScript 字体 直接 由 Bézier 曲线 建立 . 下 面 是 完整 的 Post Script 文件 , 演示 了 我 们 在 
Bl 3.15 中 讨论 的 曲线 . 
SIPS 
newpath 
100 100 moveto 
100 300 300 300 200 200 curveto 
stroke 
第 一 行 确定 文件 为 PostScript 文件 . newpath 命 令 初始 化 曲线 . PostScript 使 用 栈 和 后 级 
命令 . moveto 命 令 设 定 当前 绘图 点 是 由 在 栈 中 最 后 两 个 数字 确定 的 (z,y), 在 这 里 , 是 点 (100, 
100). curveto 命 令 从 当前 的 栈 接收 3 个 (z,y) A, 并 在 当前 的 绘图 点 开始 构造 Bezier HK, 
分 别 把 这 3 个 点 处 理 为 两 个 控制 点 和 一 个 端点 . stroke 命 令 绘 出 曲线 . 如 果 把 前 面 的 文件 送 到 
PostScript 打印 机 , 图 3-14 中 的 Bézier 曲线 将 被 打印 出 来 . 坐标 已 乘 以 100 以 便 和 PostScript 
的 约定 相 匹配 , 它 是 72 单位 对 应 1 英寸 . 一 张 信 纸 大 小 的 纸 是 612 PostScript 单位 宽 和 792 
单位 高 . 
利用 curveto 命 令 的 Bézier 曲线 , 在 计算 机 荧屏 和 打印 机 上 绘 出 PostScript 字体 . WRA 
形 是 封闭 的 , fil1 命 令 将 填充 轮廓 线 . 
例如 , 在 Times-Roman 字体 中 , 大 写 的 T 字母 是 由 以 下 16 条 Bézier 曲线 (每 条 线 包括 
定义 一 段 Bézier 样 条 的 数字 zl yi v2 ya zs ya za ys) 构造 出 来 的 : 
237 620 237 620 237 120 237 120; 
237 120 237 35 226 24 143 19; 
143 19 143 19 143 0 143 0; 
143 0 143 0 435 0 435 0; 
435 0 435 0 435 19 435 19; 
435 19 353 23 339 36 339 109; 
339 109 339 108 339 620 339 620; 
339 620 339 620 393 620 393 620; 
393 620 507 620 529 602 552 492; 
552 492 552 492 576 492 576 492; 
576 492 576 492 570 662 570 662; 
570 662 570 662 6 662 6 662; 
6 662 6 662 0 492 0 492; 
0 492 0 492 24 492 24 492; 
24 492 48 602 71 620 183 620; 
183 620 183 620 237 620 237 620; 
要 编写 一 个 绘制 字母 T 的 PostScript 文件 , 我 们 需要 moveto 初 始点 (237, 620), 加 上 下 
面 两 个 控制 点 以 及 端点 (237, 120), 接着 用 curveto 命 令 . 如 此 之 后 , 当前 位 置 将 是 (237, 120), 


而 第 二 条 曲线 是 通过 命令 
237 35 226 24 143 19 curveto 
画 出 的 . 另外 14 个 curveto 命 令 完 成 了 字母 T, 如 图 3-16 所 示 . 
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图 3-16 用 Bézier 样 条 绘制 的 Times-Roman 字体 T. 蓝 色 圆 点 是 样 条 端 
点 , 黑色 圆 点 是 控制 点 


用 以 下 21 Bt Bézier 曲线 画 出 数字 5, 见 图 3-17. 


图 3-17 用 Bézier 样 条 制作 的 Times-Roman 5: 蓝 色 圆 是 样 条 端点 


149 597 149 597 149 597 345 597; 
345 597 361 597 365 599 368 606; 
368 606 406 695 368 606 406 695; 
406 695 397 702 406 695 397 702; 
397 702 382 681 372 676 351 676; 
351 676 351 676 351 676 142 676; 
142 676 33 439 142 676 33 439; 
33 439 32 438 32 436 32 434; 
32 434 32 428 35 426 44 426; 
44 426 74 426 109 420 149 408; 
149 408 269 372 324 310 324 208; 
324 208 324 112 264 37 185 37; 
185 37 165 37 149 44 119 66; 
119 66 86 90 65 99 42 99; 
42 99 14 99 0 87 0 62; 

0 62 0 24 46 0 121 0; 
121 0 205 0 282 27 333 78; 
333 78 378 123 399 180 399 256; 
399 256 399 327 381 372 333 422; 
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333 422 288 468 232 491 112 512; 
112 512 112 512 149 597 149 597; 


建议 习题 


1. 用 3.5 节 中 的 draw.m 程 序 , 画 出 你 的 姓 中 第 一 个 字母 的 大 写 形式 . 
2. 修改 draw 程 序 以 接受 n x 8 数字 和 矩阵 , 每 一 行 表示 一 段 Bézier 样 条 . 用 以 下 21 Bt Bézier 
样 条 , 让 程序 画 出 Times-Roman 字体 的 字母 f. 


289 
166 
166 
223 
276 
321 
363 
259 
118 

83 


260 
260 
167 
167 
289 


452 
452 
568 
657 
618 
580 
621 


289 
166 
166 


452 
452 
627 
657 
589 
580 
657 


166 
166 
185 
258 
304 
363 


452 
568 
657 
647 


166 
166 
223 
276 
321 
363 
259 
118 

83 


260 
260 
167 
167 
289 
289 


452; 
568; 
657; 
618; 
580; 
621; 
683; 
611; 
450; 
450; 
418; 
418; 
104; 
15; 
0; 
0; 
15; 
104; 
418; 
418; 
452; 


3. 编写 PostScript 文件 来 画 字 母 f. 程序 应 该 用 moveto 来 确定 初始 点 , 随后 是 21 条 curveto 
命令 . 通过 在 Ghostscript 视窗 打开 你 的 文件 或 者 把 它 送 到 PostScript 打印 机 来 测试 这 


个 程序 . 


4. 尽管 字体 信息 多 年 来 是 严密 保护 的 秘密 , 但 是 现在 其 中 许多 可 在 Web 上 自由 获得 . 搜索 
其 他 的 字体 , 并 找 出 用 PostScript 或 者 用 draw.m 绘 出 你 所 选择 的 字母 的 Bézier 曲线 . 

5. 设计 你 自己 的 字母 或 数字 ， 先 在 图 纸 上 画 出 图 形 , 表示 出 可 能 会 有 的 对 称 性 ， 估 计 控 制 
点 , 并 准备 今后 在 需要 时 修改 它们 . 


软件 和 进一步 阅读 


插值 软件 通常 由 确定 和 计算 插值 多 项 式 的 独立 代码 组 成 . 为 此 目的 , MATLAB 提 供 了 Poly- 
fit 和 Polyval 命 令 . MATLAB 的 spline 命 令 默认 情况 下 计算 非 节 点 样 条 , 但 是 也 可 以 选择 其 他 
命令 的 端点 条 件 . 命令 interpl 把 几 种 一 维 插值 的 选择 结合 起 来 . NAG 库 包括 了 用 于 多 项 式 和 
样 条 插值 的 子 程序 e01aef 和 e01baf, IMSL 库 有 许多 基于 各 种 端点 条 件 的 样 条 程序 . 


178 第 3 章 # 值 


关于 插值 基本 知识 的 经 典 参考 书 见 [2], 而 参考 文献 [5, 6] 覆盖 了 函数 近似 和 Chebyshev 
插值 . DeBoor 关于 样 条 的 教科 书 [3] 也 很 经 典 , 另 见 [7] 及 [8]. 关于 计算 机 辅助 建 模 和 设计 的 
应 用 , 请 参见 [4] 和 [10]. 关于 近似 特殊 函数 的 CORDIC 方法 在 [9] 中 介绍 . 
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全 球 定位 系统 (GPS) 是 一 种 基于 卫星 的 定位 技术 , 它 可 随时 对 地 球 上 的 
任何 一 点 提供 精确 的 位 置 . 飞行 员 、 船 长 和 司机 应 用 GPS 来 避免 碰撞 和 准确 
RAL, 农民 用 它 来 控制 通过 田地 的 器 械 , 徒步 旅行 者 和 驾 船 的 人 把 它 当 作 叶 
航 的 工具 . 

这 个 系统 包括 24 HLA, 它们 沿 着 精确 控制 的 轨道 , 并 发 射 同步 信号 . 地 基 接 
收 机 接收 这 些 卫 星 信 号 , 求 出 它 与 所 有 可 见 的 卫星 的 距离 , 并 用 这 些 数 据 通 过 三 角 
测量 确定 它 的 位 置 . 

实例 检验 4.4 节 后 的 实例 检验 表示 应 用 方程 解法 和 最 小 二 乘 计算 来 进行 位 置 
估计 . 


最 小 二 乘 的 概念 是 从 19 世纪 早期 Gauss 和 Legendre 的 开拓 性 工作 开始 的 . 
它 的 应 用 遍及 现代 统计 学 和 数学 建 模 . 这 种 回归 和 参数 估计 的 关键 技术 在 科学 和 
工程 中 已 经 成 为 基本 工具 . 

在 本 章 里 引入 正规 方程 并 将 其 应 用 到 各 种 数据 拟 合 问题 中 . 后 面 , 会 研究 一 种 
应 用 QR 分 解 的 更 复杂 的 方法 , 然后 讨论 非 线性 最 小 二 乘 问题 . 


4.1 ”最 小 二 乘 和 正规 方程 


对 于 最 小 二 乘 方法 的 需要 分 别 来 自我 们 在 第 2 章 和 第 3 章 研究 的 内 容 . 在 第 
2 章 中 , 我 们 学 习 了 当 解 存在 时 , 如 何 求 hz = b 的 解 . 在 本 章 我 们 要 学 习 当 解 不 存 
在 时 , 我 们 该 如 何 做 . 当 方 程 组 不 相 容 时 , 或 许 是 方程 的 个 数 多 于 未 知 量 的 个 数 , 那 
么 答案 是 求 次 佳 (next-best) 解 一 一 最 小 二 乘 近 似 . 

第 3 章 谈 到 寻求 准确 拟 合 数据 点 的 多 项 式 . 然而 , 如 果 有 大 量 的 数据 点 或 者 数 
据点 仅 是 在 某 种 误差 范围 内 收集 到 的 , 那么 准确 地 拟 合 高 次 多 项 式 一 般 不 是 最 佳 的 
方法 . 这 时 拟 合 一 个 可 能 仅 是 近似 数据 点 的 更 简单 模型 更 为 合理 . 解 不 相 容 方程 组 
和 近似 地 拟 合 数据 都 推动 了 最 小 二 乘法 的 发 展 . 


4.1.1 不 相 容 方程 组 
不 难 写 出 没有 解 的 方程 组 . 考虑 下 面 含 两 个 未 知 量 的 3 个 方程 
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zı 十 Z2 = 2, 
Z1 一 Z2 一 1， (4.1) 


zı +r =3. 


任 一 解 必须 满足 第 一 个 和 第 三 个 方程 , 而 这 两 个 方程 不 可 能 都 是 正确 的 . 一 个 无 解 
的 方程 组 称 为 不 相 容 . 

方程 组 无 解 意味 着 什么 ? 或 许 是 系数 稍 不 精确 . 在 许多 情形 下 , 方程 的 个 数 大 
于 未 知 量 的 个 数 , 使 解 不 大 可 能 满足 所 有 的 方程 . 事实 上 , 当 m > n 时 , 含 ”个 未 
知 量 的 m 个 方程 一 般 无 解 . 尽管 Gauss 消去 法 对 于 不 相 容 方程 组 Ar =b 将 不 会 
给 出 解 , 我 们 也 不 应 该 完全 放弃 . 在 这 种 情形 下 可 采用 的 方法 是 求 一 个 最 接近 于 解 
的 向 量 z. 

如 果 我 们 这 个 “接近 ”是 欧 氏 距离 下 的 接近 , 那么 就 有 一 种 求 最 接近 的 z 的 直 
接 算法 . 我 们 把 这 种 特别 的 z 称 为 最 小 二 乘 解 (least squares solution). 

通过 用 不 同 的 方式 写 出 方程 组 (4.1), 我 们 可 以 得 到 原本 没有 解 的 方程 组 更 好 
的 结果 , 并 求 出 解 . 方程 组 的 矩阵 形式 是 hz = b, 或 者 


(4.2) 


把 矩阵 /向 量 乘 法 写成 如 下 的 等 价 方程 


1 
1 
1 


事实 上 , 任 一 m xn 方程 组 Az = b 都 可 以 看 作 向 量 方程 


+22 (4.3) 


1 3 


T101 十 Z2V2 十 … 十 ZnVyn =b, (4.4) 


CHE b 表示 成 4 的 列 向 量 的 线性 组 合 , 其 系数 是 rt,… ,zn. 因为 两 个 线性 无 关 向 
量 的 线性 组 合 形成 R3 内 的 一 个 平面 , 所 以 仅 当 向 量 b 落 在 这 个 平面 内 , 方程 (4.3) 
有 解 . 当 我 们 试图 解 含 n 个 未 知 量 的 m 个 方程 时 (m > n), 情形 将 永远 是 这 样 . 太 
多 的 方程 使 问题 超 定 , 并 且 方程 不 相 容 . 

当 解 不 存在 时 , 图 4-1b 为 我 们 指出 了 一 个 方向 . 不 存在 解 (4.1) 的 一 组 zl wo, 
但 是 , 在 一 切 可 能 的 候选 解 中 , 平面 hz 中 存在 一 点 , 它 与 5b 最 为 接近 . 这 一 特殊 向 
量 Az 的 特别 之 处 在 于 以 下 事实 : 差 向 量 5b- Az 垂直 于 平面 {Arle e R"}. 我 们 
将 用 这 一 事实 来 寻求 最 小 二 乘 “ 解 ”z 的 公式 . 
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[d= aq, + 2%, 
1 


(a) (b) 
B41 含 两 个 未 知 量 的 3 个 方程 的 方程 组 的 几何 解 . (a) 方程 (4.3) 要 
求 方程 的 右 端 向 量 5 是 列 向 量 vi 和 va 的 向 量 组 合 . (b) 如 果 
b WEH vi 和 v2 所 确定 的 平面 之 外 , HER. 最 小 二 乘 解 z 
使 得 向 量 组 合 Az 在 平面 Ax +, 在 欧 氏 距 离 的 意义 下 它 与 b 
最 为 接近 


首先 , 我 们 创建 一 些 记号 . 回忆 一 下 m x n 矩阵 4 的 转 置 4T 的 概念 , 它 是 
mxn 矩阵 , 其 行为 4 的 列 , 并 且 其 列 为 4 的 行 , 次 序 相同 . 两 个 矩阵 的 和 的 转 
置 是 转 置 的 和 , (A + B) = 47 + BT， 两 个 矩阵 的 积 转 置 是 转 置 逆序 的 积 , 即 
(AB)? = BTAT, 

为 了 利用 正 交 性 , 回忆 一 下 , 如 果 两 个 向 量 的 内 积 是 零 , 那么 这 两 个 向 量 互 成 
直角 . 对 于 两 个 m 维 向 量 u 及 v, 我 们 可 以 把 内 积 写成 矩阵 乘法 的 形式 : 


v 


uly = [u1, -+ ,Um] (4.5) 


Um 


利用 通常 的 矩阵 乘法 , 如 果 wTwv = 0, 那么 向 量 u 与 v EX. 


亮点 正 交 性 

最 小 二 乘 是 以 正 交 性 为 基础 的 ， 一 个 点 到 一 个 平面 的 最 短 距离 通过 
正 交 于 平面 的 直线 段 获得 . 正规 方程 是 确定 直线 段位 置 的 计算 方法 , CK 
示 最 小 二 乘 误差 . 


现在 , 我 们 回来 寻求 z 的 公式 . 我 们 已 经 确立 
(b— Az) {Aa|x € R"}. 
用 矩阵 乘法 来 表示 正 交 性 , 我 们 得 到 


(Az)T(b— Az) = 0， zeRn. 
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利用 前 面 关于 转 置 的 性 质 , 可 以 把 这 一 表达 式 重新 写成 
2™AT(b— Az)=0, ERn， 
这 就 意味 着 n 维 向 量 AT (b— Az) ERT Rn 中 的 每 一 个 向 量 =, 并 且 包 括 它 自己 . 


这 只 可 能 是 
AT(b— Az) =0. 


它 给 出 了 确定 最 小 二 乘 解 的 方程 组 ， 


4T4 元 = ATb. (4.6) 
方程 组 (4.6) 称 为 正规 方程 . 它 的 解 就 是 方程 组 hz =b 的 所 谓 的 最 小 二 乘 解 . 
最 小 二 乘 的 正规 方程 
给 定 不 相 容 方程 组 
Az =b, 
解 
4T4 元 = AT 


得 到 最 小 二 乘 解 2. 
例 4.1 ”用 正规 方程 求 不 相 容 方程 组 (4.1) 的 最 小 二 乘 解 . 
在 问题 的 矩阵 形式 Ar =b 中 ， 

2 

Ly | 2 

3 


正规 方程 
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可 以 用 Gauss 消去 法 解 出 . 表格 形式 是 
31] 6] f3 1/ 6 
1 3| 4 0 8/3| 2)’ 
我 们 可 以 解 得 = (21,22) = (3,3). 
把 最 小 二 乘 解 代入 原 问题 得 到 


11 了 2.5 2 
1st = 

3 1 |#|1 
iiia 25 3 


为 了 估计 我 们 在 数据 拟 合 上 的 成 果 , 计算 最 小 二 乘 解 z 的 残 差 : 


2 2.5 一 0.5 
r=b-AZ=]1]/-] 1 |= 0.0 
3 2.5 0.5 


如 果 残 差 是 零 向 量 , 那么 我 们 已 经 精确 地 解 出 原 方程 组 Aa = FN, 残 差 向 量 的 
欧 氏 长 度 就 是 z 离 真 解 = 多 远 的 一 种 度量 . 向 量 的 欧 氏 长 度 


Inll2 = yr? +--+ +72, (4.7) 
是 一 种 范 数 , 称 为 2- FEM. 平方 误差 (squared error). 
SE =r? +- +r 


以 及 均 方 根 误差 (root mean squared error) 


nose = E = Vm (4.8) 


也 就 是 平方 误差 的 平均 值 的 平方 根 , 也 用 来 测量 最 小 二 乘 解 的 误差 ， 对 于 例 4.1, 
SE = (0.5)? + 0? + (—0.5)? = 0.5, 误差 的 2- 范 数 是 |rll> = V0.5 ~ 0.707, 并 且 


RMSE = y= ae = 0.408. 
3 6 


例 4.2 RB) FAG 
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正规 方程 4TAz = ATE 


[ls le 


正规 方程 的 解 是 z1 = 3.8, z2 = 1.8. 残 差 向 量 是 


它 有 欧 氏 范 数 
llrlla = W(0.4)2 + 2? 十 (一 2.2)2 = 3. 
例 4.14 中 用 另 一 种 方法 求解 了 这 个 问题 . 
4.1.2 ”数据 拟 合 模型 
设 (tvs) ++ (tm: Ym) 是 平面 中 的 一 组 点 集 , 我 们 将 经 常 称 它们 为 “数据 点 ”. 
给 出 一 类 确定 的 模型 , 辟 如 所 有 的 直线 y = a + bt, 我 们 可 以 寻找 在 2- 范 数 意 义 下 
最 佳 拟 合 这 些 数据 点 的 这 种 模型 的 特定 实例 .最 小 二 乘 思想 的 核心 包括 : 通过 模 


型 在 数据 点 的 平方 误差 来 测量 拟 合 的 残 差 , 以 及 寻求 使 残 差 极 小 化 的 模型 参数 , 图 
4-2 显示 了 这 一 准则 . 


d 


(tas ya) (ts Ys) 


图 42 ”直线 对 数据 的 最 小 二 乘 拟 合 : 最 佳 直线 是 在 所 有 直线 y =a+bt 
中 平方 误差 e+e? +-+ e 尽 可 能 小 的 那 一 条 


例 4.3 ” 求 最 佳 拟 合 图 43 中 3 个 数据 点 (t,y) = (1,2), (-1,1), (1,3) 的 直线 . 
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图 4-3 例 4.3 中 的 最 佳 直线 : 数据 点 分 别 落 在 最 佳 直线 的 上 方 及 下 方 
模型 是 y = a+ bt, 目标 是 求 最 佳 的 a 及 b. 把 数据 点 代入 模型 得 到 


a+b(1)=2, 
a+b(-1)=1, 
a+b(1)=3. 


或 者 写成 矩阵 形式 


我 们 知道 这 个 方程 组 不 存在 解 (a, 5b), 原因 如 下 . 首先 , 如 果 存 在 解 , 那么 y = + bt 

应 是 一 条 包含 这 3 个 数据 点 的 直线 . 然而 易 见 这 3 点 不 共 线 . 其 次 , 它 是 在 本 章 开 

始 时 讨论 过 的 方程 组 (4.2). 然后 , 注意 到 第 一 个 方程 和 第 三 个 方程 不 相 容 , 就 最 小 

二 乘 而 言 , 我 们 求 得 的 最 佳 解 是 (a,5) = (1.4). 因此 最 佳 直线 是 y= 了 + 纺 。 < 
我 们 用 以 前 定义 的 统计 量 来 估计 这 种 拟 合 . 在 数据 点 的 残 差 是 


oH nje 
a 
i 
S 
& 


如 前 所 见 ,RMSE 是 Je. 
前 面 的 例子 对 求解 最 小 二 乘 数据 拟 合 问题 提出 了 3 步 程序 . 
最 小 二 乘 数据 拟 合 
给 定 一 组 m 个 数据 点 (tisy), , (tm, ym)- 
第 一 步 : 选取 模型 . 确定 参数 化 模型 , 如 y = a + bt, 并 将 用 它 来 拟 合 数据 . 
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第 二 步 : 使 模型 拟 合 数据 . 把 数据 点 代入 模型 . 每 个 数据 点 产生 一 个 将 未 知 量 
作为 参数 的 方程 , 譬如 在 直线 模型 中 的 a 与 b. 结果 产生 方程 组 Az = b, 在 这 里 未 
知 量 z 表示 未 知 参数 . 

第 三 步 : 求解 正规 方程 . 参数 的 最 小 二 乘 解 将 作为 正规 方程 组 A™Az = AT 
的 解 而 求 得 . 


亮点 ”压缩 

最 小 二 乘 是 数据 压缩 的 典型 例子 . 输入 包括 一 组 数据 点 . 而 输出 是 尽 
可 能 好 地 拟 合 数据 的 模型 , 它 带 有 相对 少 的 参数 . 通常 使 用 最 小 二 乘 的 原 
因 是 用 合理 的 模型 来 代替 噪声 数据 ， 于 是 , 为 了 信号 预测 和 分 类 的 目的 ， 
经 常 使 用 这 种 模型 . 

在 4.4 节 , 各 种 不 同 的 模型 被 用 于 拟 合 数据 , 包括 多 项 式 、 指 数 函 数 
以 及 三 角 函 数 . 在 第 10 章 及 第 11 章 将 进一步 应 用 三 角 逼 近 , 介绍 基本 的 
Fourier 分 析 作为 信号 处 理 的 初步 . 


我 们 在 下 例 中 说 明 这 些 步 骤 . 
例 4.4 对 图 4-4 中 的 4 个 数据 点 (—1, 1), (0,0), (1,0), (2, 一 2), 求 最 佳 直线 和 
最 佳 抛物 线 . 


(a) 


图 44 ”对 例 4.4 中 的 数据 点 的 最 小 二 乘 拟 合 : (a) 最 佳 直线 y = 0.2 一 
0.9t, RMSE=0.418; (b) 最 佳 抛物 线 y = 0.45 一 0.65t 一 0.25t2， 
RMSE=0.335 
按照 前 面 的 程序 , 我 们 将 采用 3 步 : 首先 像 前 面 一 样 选 取 模 型 y = a+ bt, 其 次 
使 模型 拟 合 数据 得 到 

a+b(-1) =1, 
a+b(0) =0, 
a+0b(1) =0, 
a+b(2) = —2, 
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或 者 写成 矩阵 形式 
1 -1 1 
1 ojfa]_| 0 
ia [:]- 0 
1 2 -2 
正规 方程 是 


上 -3 


解 出 系数 a 与 b, 结果 得 到 最 佳 直线 y = a + bt = 0.2 — 0.9. 


， 残 差 是 
t Y 直线 误差 
-1 1 11 —0.1 
0 0.2 一 0.2 
1 0 一 0.7 0.7 
2 -2 -1.6 一 0.4 


误差 统计 量 是 平方 误差 SE = (-0.1)? + (-0.2)? + (0.7)? + (-0.4)7 = 0.7 以 及 
RMSE = V0.7/V4 = 0.418. 

下 面 我 们 保持 同样 的 4 个 数据 点 , 但 是 改变 模型 来 扩展 这 个 例子 ， 设 y = 
at+bt+ct?, 并 且 代 入 数据 点 得 到 


a+b(-1)+c(-1)? =1, 
a+ (0) + c(0)? = 0, 
a+0(1) +¢(1)? =0, 
a+ (2) +c(2)2 = —2, 


或 者 写成 矩阵 形式 
1 -1 1 1 
1 ooff, ]_| o0 
a 0 
c 
1 24 -2 


这 一 次 , 正规 方程 是 含 3 个 未 知 量 的 3 个 方程 : 
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解 出 系数 , 结果 得 到 最 佳 抛物 线 y = at bt + ct? = 0.45 一 


0.65t 一 0.25t?. 下 表 


给 出 残 差 . 
t y 抛物 线 误差 
>$ 1 0.85 0.15 
0 0 0.45 —0.45 
1 0 一 0.45 0.45 
2 =à 一 1.85 一 0.15 


误差 统计 量 是 平方 误差 SE = (0.15)? + (—0.45)? + (0.45)? + ( 


RMSE= V0.45/V4 ~ 0.335. 


一 0.15)2 = 0.45 以 及 


亮点 “条件 作用 


由 于 在 最 小 二 乘 问题 中 假定 输入 数据 有 误差 , 因此 减 小 误差 的 放大 特 


别 重要 . 我 们 已 提出 正规 方程 作为 解 最 小 二 乘 问题 的 最 直接 方法 , 而 且 它 
适用 于 小 型 问题 . 然而 条 件数 cond(A™ A) 近似 于 原来 的 条 件数 cond(A) 
的 平方 , 这 将 极 大 地 增加 问题 是 病态 的 可 能 性 . 更 复杂 的 方法 允许 不 必 形 
R ATA 而 直接 从 4 计算 最 小 二 乘 解 . 这 些 方法 建立 在 4.3 节 介绍 的 QR 


分 解 以 及 第 12 章 的 奇异 值 分 解 的 基础 上 . 


MATLAB 命 令 polyfit 及 polyval 不 但 是 对 多 项 式 模型 的 插值 数据 设计 的 , 而 且 
也 是 对 拟 合 数据 设计 的 . 对 于 n 个 数据 点 , 使 用 n 一 1 次 输入 数据 的 polyfit 返回 
n 一 1 次 插值 多 项 式 的 系数 . 如 果 输 入 次 数 小 于 n 一 1, polyfit 代 之 以 寻求 该 次 数 


的 最 佳 最 小 二 乘 多 项 式 . 例如 , 命令 
>> x0=[-101 2]; 
>> yO=(1 0 0 -2]; 
>> c=polyfit (x0,y0,2); 
>> x=-1:.01:2; 
>> y=polyval(c,x); 
>> plot (x0,y0,'o',x,y) 


求 二 次 最 小 二 乘 多 项 式 的 系数 , 并 且 利用 例 4.4 给 出 的 数据 把 它 画 出 来 . 
例 4.4 说 明 最 小 二 乘 模型 不 需要 被 限制 为 寻求 最 佳 直线 . 通过 推广 模型 的 定义 ， 
我 们 可 以 对 任 一 模型 拟 合 系数 , 只 要 这 些 系数 是 以 线性 方式 进入 模型 的 . 


4.1.3 ”最 小 二 乘 的 条 件 作用 


我 们 已 经 看 到 , 最 小 二 乘 问题 简化 成 求解 正规 方程 ATA? = AD. 可 以 确定 
最 小 二 乘 解 z 的 精度 吗 ? 这 是 有 关 正 规 方程 的 前 向 误差 问题 . 在 准确 解 知道 的 情 
形 下 通过 解 正规 方程 , 我 们 进行 双 精 度数 值 试验 来 测试 这 个 问题 . 

例 4.5 Wa = 2.0,z2 = 2.2,zs = 2.4,… ,zi = 4.0 是 在 [2,4] 中 的 等 距 点 ， 
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HAS yi =1+ai ta? +a? tatta? taf tell < i< 1). 利用 正规 方程 求 拟 合 
(xi, yi) 的 最 小 二 乘 多 项 式 P(x) = cl + caz 十 … 十 caz7. 
7 次 多 项 式 用 于 拟 合 落 在 7 次 多 项 式 P(z) = 1 十 z 十 z2 十 z3 十 z4 十 z5 十 6 十 Z7 


上 的 11 个 数据 点 . 显然 正确 的 最 小 二 乘 解 是 c1 = cx = … = cs = 1. 把 数据 点 代入 
模型 P(x), 得 到 方程 组 Ac =b: 
1 zl 29 zi c w 
z2 th + ah a] | 
1 su 2 oh cs yı 


系数 矩阵 是 Van der Monde 矩阵 , 这 个 矩阵 的 第 j 列 元 素 是 由 第 2 列 元 素 的 
0 一 1) KHAR. 我 们 用 MATLAB 来 解 正规 方程 : 


>> x = (2+(0:10)/5)'; 

>> y = 1+X+X.^2+X.^3+X.^4+X,^5+X.^6+X ^T; 

>> A = [x.^0 x X.^2 x.%3 x.^4 x.^5 x.^6 x.*7)7 
>> c = (A'*A)\(A'*y) 


-8938 
1483 
4914 
3182 
4788 
6990 
0337 
9984 


oronwvoow 


>> cond(A'*A) 

an 3674e+019 

用 双 精 度 解 正 规 方程 并 不 能 提供 最 小 二 乘 解 的 精确 值 . ATA 的 条 件数 太 大 以 
至 无 法 处 理 双 精 度 算法 , 并 且 即 使 原来 的 最 小 二 乘 问题 的 条 件数 适中 , 正规 方程 也 
是 病态 的 . 用 正规 方程 逼近 最 小 二 乘 , 显然 有 待 改进 . 在 例 4.15 中 , 选择 了 另 一 种 
BR, 避免 形成 ATA, 到 时 我 们 再 回 到 这 个 问题 . < 
习题 4.1 

1. 对 以 下 的 不 相 容 方程 组 , 解 正 规 方程 求 最 小 二 乘 解 以 及 2- 范 数 误差 : 


12 3 iti 1 
(a) | 0 1 [z]-[; wok l[a] |: 
21]!” 1 3 1Jt™ 0 
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11. 


12. 


Y 


(c) 


vee 
=m 
88 
uu 
1 

N w w o 


. 求 以 下 方程 组 的 最 小 二 乘 解 以 及 RMSE: 


110]r。 2 1 0 |] Rs 2 
Or s on) (Oe fees A 102 ae ee ts 
(a) 134 za =|s|; (b) ia |= ]- 1 
101j]t” 4 211Jt” 2 
. 求 不 相 容 方 程 组 的 最 小 二 乘 解 : 
1 0 1 
1 0 [3]- 5 
1 o}t™ 6 


. 设 m >n, A m xn AGES (m x m 单位 矩阵 的 主子 矩阵 ) IFAS b = [bi,… ,bm] 


是 向 量 . R Aw = b 的 最 小 二 乘 解 及 2- 范 数 误差 . 


.证明 2- 范 数 是 一 种 向 量 范 数 . 你 将 需 用 Cauchy-Schwarz 不 等 式 |u- v) < jlullzllvll2. 
. 设 A 是 nxn 非 奇异 矩阵 ，(a) EH (AT) = (4-1)T. (b) HO 是 nn 维 向 量 , 那么 


Ax = b 恰 有 一 解 , 证 明正 规 方程 可 以 求 得 这 个 解 . 


. 求 经 过 下 面 各 组 数据 点 的 最 佳 直线 , 并 求 出 RMSE: 


(a) (-3,3), (—1, 2), (0,1), (1, —1), (3, —4); (b) (1, 1), (1, 2), (2, 2), (2, 3), (4, 3). 


.、 求 经 过 下 面 各 组 数据 点 的 最 佳 直线 ,并 求 出 RMSE: 


(a) (0,0), (1,3), (2,3), (5,6); (b) (1,2), (3, 2), (4, 1), (6,3); 
(e) (0,5), (1,3), (2,3), (3,1). 


. 求 经 过 习题 8 中 每 组 数据 点 的 最 佳 抛物 线 , 并 且 与 最 佳 直 线 拟 合 比较 RMSE. 
、 求 经 过 习题 8 中 每 组 数据 点 的 最 佳 三 次 多 项 式 . 另外 求 出 这 种 三 次 插值 多 项 式 并 进行 比 


较 . 

假设 测量 模型 火箭 的 高 度 4 Uk, 测量 时 间 和 高 度 是 (t,h) = (1,135), (2, 265), (3, 385), 
(4.485), 单位 分 别 是 秒 和 米 . 拟 合 模型 h= a + bt — 4.905t? 来 估计 火箭 最 终 的 最 大 高 度 
以 及 返回 地 球 的 时 间 . 

给 定数 据点 (z, y, z) = (0,0,3), (0, 1, 2), (1,0, 3), (1, 1,5), (1,2,6), 在 三 维 空间 中 , 求 最 佳 
拟 合 这 些 数据 的 平面 (模型 z = co + ciz + cay). 


计算 机 问题 4.1 


1. 


对 下 列 不 相 容 方程 组 构造 正规 方程 , 并 且 计算 最 小 二 乘 解 以 及 2- 范 数 误差 : 


3 -1 2 10 
4 10 zı 10 
(a) | -3 2 1 z |=| -5 |; 
1-1-8 za 15 
-2 0 3 0 
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42 3 0 10 
oe Sa On| 0 
z: 
(b) 1 3 -4 2 ?|=| 2 
T3 
PO ob “21 0 
31 3 2 5 


.考虑 计算 机 问题 3.2.3 中 世界 石油 生产 数据 , 求 最 佳 最 小 二 乘 : (a) HR; (b) 抛物 线 ; 
(c) 立方 曲线 , 它们 都 通过 10 个 数据 点 . 并 求 这 些 拟 合 的 RMSE. 利用 上 面 的 每 一 种 拟 
合 来 估计 2010 年 的 生产 水 平 . 就 RMSE 而 言 , 哪 一 种 拟 合 最 好 地 代表 了 这 些 数据 ? 

.考虑 计算 机 问题 3.1.1 中 世界 人 口 数据 , 求 最 佳 最 小 二 乘 : (a) 直线 ; (b) MMR, 它们 都 
通过 这 些 数据 点 .并 求 这 些 拟 合 的 RMSE. 在 每 一 种 情形 下 , 估计 1980 年 的 人 口 . 哪 一 
种 拟 合 给 出 最 佳 估计 ? 

.考虑 习题 3.1.13 中 二 氧化 碳 浓度 的 数据 , 求 最 佳 最 小 二 乘 : (a) 直线 ; (b) 抛物 线 ; (c) 立 
方 曲线 , 它们 都 通过 这 些 数据 点 ， 并 求 这 些 拟 合 的 RMSE. 在 每 种 情形 下 , 估计 1950 年 
CO2 的 浓度 . 

， 一 家 公司 在 22 个 近似 相等 大 小 的 城市 尝试 销售 一 种 新 的 软饮料 ， 售 价 (美元 ) 以 及 在 城 
市 中 每 周 的 销量 如 表 4-1 所 示 . 


城市 


1 

2 0.80 2 200 13 1.09 1190 
3 0.95 1 850 14 0.95 1 960 
4 0.45 6 100 15 0.79 2 760 
5 0.79 2 100 16 0.65 4 330 
6 0.99 1 700 17 0.45 6 960 
7 0.90 2 000 18 0.60 4 160 
8 0.65 4 200 19 0.89 1 990 
9 0.79 2 440 20 0.79 2 860 


es 
s 
ES 
@ 
w 
R 
o 
2 
8 
= 
e 
8 
名 


(a) 首先 , 公司 想 要 找 出 “需求 曲线 : 在 每 一 种 可 能 价格 下 , 销量 是 多 少 , 设 已 表示 价 
格 , S 表示 每 周 销量 . 求 在 最 小 二 乘 下 最 佳 拟 合 表 中 数据 的 直线 5 = ci + caP. 求 
正规 方程 以 及 最 小 二 乘 直线 的 系数 cl 及 co. 沿 着 数据 画 出 最 小 二 乘 直线 并 且 计 算 
均 方 根 误差 . 
(b) 在 研究 了 试销 的 结果 之 后 ,公司 将 设置 一 个 全 国 统一 的 售 价 ， 每 件 产品 的 制造 成 本 
给 定 为 0.23 美元 , 总 利润 (每 个 城市 , 每 周 ) 是 S(P — 0.23) 美元 . 用 前 面 最 小 二 乘 
近似 的 结果 去 求 使 公司 利润 最 大 的 售 价 . 
抛物线 y = r° 在 [0, 1] 上 的 “斜率 ”是 什么 , 求 在 该 区 间 n 个 等 距 点 上 拟 合 这 条 抛物 线 
的 最 小 二 乘 直 线 : (a) n= 10; (b) n = 20. 画 出 抛物 线 以 及 这 些 直线 . 4 n 一 co 时 , 你 


预计 结果 是 什么 ? (c) RER Fleca) = Le 一 cs - az)?dz 的 最 小 值 , 并 且 解 释 它 与 
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这 个 问题 的 关系 . 
. 求 经 过 图 3-5 中 13 个 数据 点 的 最 小 二 乘 : (a) 直线 ; (b) MWR. 并 求 出 每 种 拟 合 的 
RMSE. 

8. 设 4 是 由 10x10 阶 Hilbert 矩阵 的 前 m” 列 形 成 的 10 xm 矩阵 , c 是 n 维 向 量 [1,… , 1], 
并 且 令 b= Ac. 用 正规 方程 解 最 小 二 乘 问题 Ax = b; (a) n = 6, (b) n = 8, 并 与 准确 的 
最 小 二 乘 解 a= c 进行 比较 . 能够 计算 多 少 位 准确 的 小 数 ? 用 条 件数 来 解释 结果 (这 个 
最 小 二 乘 问题 还 会 在 计算 机 问题 4.3.3 中 出 现 ). 

9. 设 z1,… ,zll 是 在 [2,4] 中 的 11 个 等 距 点 以 及 yi = 1 十 zi 十 x? 十 … 十 Z8. 利用 正规 
方程 计算 最 佳 d 次 多 项 式 , 这 里 (a) d = 5, (b) d = 6, (c) d = 8. 与 例 4.5 进行 比较 . 可 
以 计算 系数 的 多 少 位 准确 小 数 ?用 条 件数 来 解释 这 些 结果 (这 个 最 小 二 乘 问题 还 会 在 计 
算 机 问题 4.3.4 中 出 现 ). 


x 


42 模型 综述 


前 面 的 线性 模型 和 多 项 式 模型 说 明了 最 小 二 乘 拟 合 数 据 的 用 处 ， 数 据 建 模 的 
艺术 包括 各 种 各 样 的 模型 , 某 些 来 自作 为 数据 源 基础 的 物理 原理 , 而 其 他 的 则 以 经 
验 因素 为 基础 . 


4.2.1 周期 数据 


周期 数据 要 求 周期 模型 . 例如 外 部 气温 在 许多 时 间 尺 度 下 服从 周期 循环 , 包括 
由 地 球 自转 以 及 地 球 绕 太 阳 公转 所 确定 的 每 天 的 周期 以 及 每 年 的 周期 . 作为 第 一 个 
例子 , 将 逐 时 温度 (hourly temperature) 数据 与 正弦 及 余弦 拟 合 . 
Bl 4.6 ”把 在 下 表 中 列 出 的 华盛顿 地 区 在 2001 年 1 月 1 日 的 温度 记录 与 周 
期 模型 拟 合 : 
一 天 中 的 时 间 
午夜 12 时 
上 午 3 时 
上 午 6 时 
上 午 9 时 
正午 12 时 
下 午 3 时 
下 午 6 时 
下 午 9 时 


我 们 选择 模型 y = ci + c2 cos 2rt + ca sin Int 来 匹配 温度 以 24 小 时 为 周期 的 事 


K (至 少 不 出 现 较 长 期 的 温度 变动 下 是 如 此 ). 模型 利用 这 一 信息 , 把 周期 设 定 为 恰 
好 一 日 , 把 天 作为 t 的 单位 . 变量 t 在 表 中 的 单位 为 天 . 


温度 CO) 

-23 
一 2.8 
一 6.1 
一 3.9 

0.0 

1.1 
一 0.6 
一 上 


ae mlo el- mlo air ml- © | oe 


42 模型 综述 


193 


把 数据 代入 模型 , 结果 是 以 下 不 相 容 的 线性 方程 组 : 


cl + cz cos 2r(0) + ca sin (0) = —2.2, 


相应 的 不 相 容 矩阵 方程 是 Az =b, 其 中 


容易 解 出 cl = 


Bee ee = = 


= 


正规 方程 4ATAc = ATb 是 


cl 十 cz cos2T (5) + c3sin 2x (3) = —2.8, 
1 i 1 
cl 十 cz cos 27 (3) +cgsin 2x (3) =-6.1, 
3 ; 3 
cl + cz cos 2x 3 + c3 sin 2r as 一 3.9， 
1 i 1 
cl + c2 cos 2x 2 + cg sin 27 3 = 0.0, 
5 5 
cl + c2 cos 2x + c3 sin 2 3 = 1:1, 
cl 十 cz cos 20 (2) + cg sin 2x (3) = -0.6, 
7 r 7 
cl + c2 cos 27 3 + casin 20 3 =-11 
cos0 sin0 1 1 0 
cos} sin} 1 Gi @ 
cos¥ sin¥ 1 0 1 
cos% sin 3 ye! -4 @ eG 
cosr sian | |1 -1 AAA a 
cos 5% sin SF 1 -4 -4 
cos % sin 3% 1 0 1 
cos 7 sin 1 @ -4 
8 0 0 cl 一 15.6 
0 4 0 a |= —2.9778 |, 
004 ca —10.237 6 


一 2.2 
一 2.8 
一 6.1 
一 3.9 

0.0 

11 
一 0.6 
-11 


1.95, co = —0.744 5, cg = —2.559 4. 在 最 小 二 乘 意义 下 , 模型 的 最 


佳 形式 是 y = -1.950 0 — 0.744 5 cos 2at — 2.559 4sin 2rt RMSE~ 1.063. 图 4-5a 把 
最 小 二 乘 拟 合 模型 与 实际 的 逐 时 记录 温度 进行 了 比较 . 


194 第 4 章 最 小 二 乘 


例 4.7 ”把 温度 数据 与 改进 的 模型 
Y = cl + c2 cos 2rrt + c3 sin 2rrt + c4 cos4rtt (4.9) 
进行 拟 合 . 


亮点 正 交 性 

通过 基 函 数 的 特别 选取 , 可 以 大 大 地 简化 最 小 二 乘 问题 . 例如 , 在 例 
4.6 和 例 4.7 中 选取 产生 的 正规 方程 组 已 是 对 角形 . 正 交 基 函数 的 这 个 性 
质 将 在 第 10 章 详细 地 进行 研究 . 模型 (4.9) 是 一 个 Fourier 展开 式 . 


现在 方程 组 是 


cl + c2 cos 2r(0) + cs sin r(0) + c4 cos 4r(0) = —2.2, 


cl + c2 cos 20 G ) + cg sin 2x G ) + c4 cos4n (3) = 一 2.8， 
1 1 
cı + c2cos 2x | — } + c3sin 27 | — ) + c4cos4x | — | = —6.1, 
4 < 4 
3 3 3 
Cl 十 cz cos 2% 3 + casin 2x 3 + c4 cos 4 3 = —3.9, 
1 1 1 
Cl + c2 cos 20 (3) + cg sin 2x (5) 十 cd cos4T (5) = 0.0, 
5 5 5 
cl + C2 cos 27 3 + c3 sin 2x 3 十 cd cos4T 3 =1.1, 
3 3 3 
ci+c2cos2n (= |+casin2n [= | + c4cos4x | — ) = —0.6, 
4 4 4 
7 7 7 
Cl + cz cos 27 8 + cssin2x 3 + c4 cos 4m 3 =-1.1, 
它 导 出 以 下 正规 方程: 
800 0 c 一 15.6 
0400 c | 一 2.977 8 
0040 ca —10.237 6 
000 4 ca 4.5 


解 是 cı = 一 1.95, c2 = 一 0.744 5,c3 = 一 2.559 4, c4 = 1.125, RMSE ~ 0.705. 图 4-5b 
表明 , 扩展 的 模型 y = -1.95 — 0.744 5 cos 2at — 2.589 4sin 2nt + 1.125 cos4rt 显著 
地 改进 了 拟 合 . < 
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L Ler 10 4 ter 
0.5 1 0 0.5 1 


(a) (b) 
图 45 ”对 例 4.6 中 的 周期 数据 的 最 小 二 乘 拟 合 : (a) 沿 着 2001 年 1 月 
1 日 记录 的 温度 , 正弦 曲线 模型 y = 一 1.95 — 0.744 5 cos 2r 一 
2.559 4sin 2rt 用 粗 黑体 显示 ; (b) 改进 的 正弦 曲线 y = 一 1.95 一 
0.744 5 cos 2rt — 2.559 4sin 2nt + 1.125 cos 4rt 更 接近 地 拟 合 
数据 


4.2.2 ”数据 线性 化 


当 人 口 变化 的 速度 正比 于 它 的 大 小 时 , 就 意味 着 人 口 的 指数 型 增长 . 在 理想 条 
件 下 , 当 增 长 环境 没有 改变 以 及 当 人 口 完全 在 环境 的 承载 能 力 之 下 时 , 这 种 模型 是 
一 个 好 的 代表 . 

指数 型 模型 (exponential model) 


Y= Cre, (4.10) 


由 于 co 不 是 线性 地 出 现在 模型 方程 中 , 所 以 它 不 能 直接 通过 最 小 二 乘 进行 拟 合 . 一 
旦 把 数据 点 代入 模型 , 困难 就 明显 了 : 要 求解 系数 的 方程 组 不 是 线性 的 , 而 且 不 能 
表示 为 线性 方程 组 4z = b, 因此 我 们 对 正规 方程 的 推导 是 不 切合 的 . 

处 理 非 线性 系数 的 问题 有 两 种 方法 ， 比 较 难 的 方法 是 直接 极 小 化 最 小 二 乘 误 
差 , 即 解 非 线性 最 小 二 乘 问题 . 我 们 将 在 4.4 节 回 到 这 个 问题 . 比较 简单 的 方法 是 改 
变 这 个 问题 . 我 们 可 以 解 一 个 不 同 的 问题 , 它 通过 “线性 化 ”模型 而 与 原 问题 相关 ， 
而 不 是 解 原来 的 最 小 二 乘 问题 . 

在 指数 型 模型 (4.10) 这 种 情形 下 , 通过 应 用 以 下 的 自然 算法 把 模型 线性 化 : 


Iny = ln(c1e®*) = ln cl + cat. (4.11) 


注意 , 对 于 指数 型 模型 , Iny 的 图 形 是 线性 的 . 初 看 起 来 似乎 我 们 仅仅 把 一 个 问题 
换 成 另 一 个 . 现在 系数 cz 在 模型 中 是 线性 的 , 但 是 c 还 不 是 . 然而 , 通过 重新 命名 
k= nci, 我 们 就 可 以 写成 


lny =k + cot. (4.12) 
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现在 两 个 系数 k 及 ca 在 模型 中 都 是 线性 的 . 对 最 佳 的 上 及 co 求解 正规 方程 之 后 ， 
如 果 愿 意 , 我 们 就 能 够 求 得 相应 的 cı = e*. 
应 该 注意 我 们 摆脱 非 线 性 系数 这 个 困难 的 方法 是 改变 问题 . 我 们 提出 的 原来 的 
最 小 二 乘 问题 是 对 (4.10) 拟 合 数据 , 也 就 是 求 使 得 方程 ce = yn (i= 1,… n) 
的 残 差 的 平方 和 
(cre — y1)? +++» + (cre — yn)? (4.13) 


极 小 化 的 c1,co. MRE, 我 们 求解 的 问题 是 在 “对 数 空间 ” 极 小 化 最 小 二 乘 误差 ， 
也 就 是 通过 求 使 得 方程 In ci + c2ti = Inyi (i = 1,… ,n) 的 残 差 平方 和 


(nci +czti — lny)? +--+ (Inci + ctn — In yn)? (4.14) 


极 小 化 的 c1, co. 这 是 两 种 不 同 的 极 小 化 , 并 有 不 同 的 解 , 这 意味 着 它们 一 般 情 况 下 
会 得 到 系数 c1, co 的 不 同 的 值 . 

对 这 个 问题 哪 种 方法 正确 , 是 非 线性 最 小 二 乘 问题 (4.13) 还 是 模型 线性 化 的 
形式 (4.14)? 前 者 是 我 们 已 定义 的 最 小 二 乘 . 后 者 并 不 是 . 然而 , 依据 数据 的 前 后 
关系 , 两 者 中 任 一 个 都 可 以 是 更 自然 地 选取 . 要 回答 这 个 问题 , 使 用 者 需要 确定 哪 
一 种 误差 对 极 小 化 最 重要 , 是 原来 意义 下 的 误差 还 是 在 “对 数 空间 ”下 的 误差 . 事 
实 上 , 对 数 模型 是 线性 的 , 因此 可 以 说 只 有 通过 对 数 变换 把 数据 变 成 线性 关系 之 后 
评估 模型 的 拟 合 才 会 比较 自然 . 

例 4.8 ”采用 模型 线性 化 , 对 表 4-2 中 的 世界 汽车 供应 量 数据 求 最 佳 最 小 二 乘 
指数 型 拟 合 y = clect; 


表 4-2 
年 1950 1955 1960 1965 1970 1975 1980 
辆 (x106) 53.05 73.04 98.31 139.78 193.48 260.20 320.39 


数据 描述 了 全 世界 在 给 定年 份 汽车 经 营 的 数量 . 从 1950 年 开始 按 年 定义 时 间 
变量 + 解 线性 最 小 二 乘 问题 得 到 ki ~ 3.989 6, ca ~% 0.061 52. 因为 cl ~ e3.989 6 x 
.54.03, 所 以 模型 是 y = 53.03e0.061 52t:， 在 对 数 空间 , 对 数 线性 化 模型 的 RMSE ~ 
0.035 7, 而 原来 的 指数 模型 的 RMSE ~ 9.56. 最 佳 模型 及 数据 在 图 4-6 HEH. 

例 4.9 M 20 世纪 70 年 代 早期 开始 , 英特尔 公司 的 CPU 上 的 晶体 管 数量 在 
表 4-3 中 给 出 . 对 这 些 数据 进行 模型 y = cre! 的 拟 合 . 

通过 使 用 模型 线性 化 公式 (4.11), 参数 将 被 拟 合 . 对 模型 线性 化 给 出 


lny =k + et. 
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200) 
100 


0 T 
1950 1960 1970 1980 


图 46 采用 线性 化 , 世界 汽车 供应 量 数据 的 指数 型 拟 合 : 最 佳 最 
小 二 乘 拟 合 是 y = 54.0360081 52t 


< 
R 43 
CPU 年 晶体 管 数 CPU 年 晶体 管 数 
4 004 1971 2 250 奔腾 1993 3 100 000 
8 008 1972 2 500 奔腾 I 工 1997 7 500 000 
8 080 1974 5 000 奔腾 II 1999 24 000 000 
8 086 1978 29 000 奔腾 4 2000 42 000 000 
286 1982 120 000 安 腾 2002 220 000 000 
386 1985 275 000 RM 2 2003 410 000 000 
486 1989 1 180 000 
S t= 0 对 应 于 1970 年 . 把 这 些 数据 代入 线性 化 模型 得 到 
k + c2(1) = In2 250, 
k 2) =In2 5 
十 cz(2) 00, (4.15) 
k + co(4) = ln5 000, 
k + c2(8) = 1n29 000, 
如 此 等 等 . 矩阵 方程 是 Az = b, 其 中 z = (k, c2), 
ahaa) In2 250 
1 2 In2 500 
1 4 ln5 000 
| O8= In29 000 i o) 
1 33 In 410 000 000 


正规 方程 ATAz = Ab 是 


13 235 k |_| 176.90 
235 5927 || c2 | | 3793.23 |’ 
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EHM k~ 7.197 以 及 ca ~ 0.354 6, 可 以 推出 cl = e" ~ 1 335.3. 在 图 4-7 中 , 沿 着 
数据 显示 了 指数 型 曲线 y = 1 335.3e0.359 6t, 对 这 个 规律 加 倍 的 时 间 是 In 2 ~ 1.95 
年 . 英特尔 的 创建 者 之 一 Gordon C. Moore 在 1965 年 预言 随后 十 年 , 每 两 年 计算 
效率 将 加 倍 . 令 人 惊奇 的 是 , 指数 型 速率 持续 了 40 年 . 在 图 4-7 中 存在 某 些 证 据 表 
BA, 从 2000 年 开始 , 这 个 速度 已 经 加 快 . 


1970 1980 1990 2000 2010 ha 


FA 4-7 Moore 定律 的 半 对 数 图 : CPU 芯片 的 晶体 管 数量 与 年 份 的 关系 
曲线 
< 


另 一 个 非 线性 系数 的 重要 例子 是 宕 律 (power law) 模型 y = ot. 这 个 模型 也 
可 以 通过 在 两 边 取 对 数 进行 线性 化 而 得 到 简化 


lny = Inc, +c. nt = k + cg Int. (4.17) 
把 数据 代入 模型 将 给 出 
k+cglnti= lny, (4.18) 
k+cgint,z= Inyn, (4.19) 
结果 得 到 矩阵 形式 Ax = b: 
1 Inti lnyı 
A=|: : b=| : (4.20) 
1 jntn Inyn 


正规 方程 得 以 确定 以 及 cz, 以 及 cl = e*. 

例 4.10 ”采用 线性 化 把 给 出 的 身高 -体重 数据 与 寡 律 模型 拟 合 . 

2002 年 , 由 (美国 ) 疾病 控制 中 心 (CDC) 完成 的 《美国 国家 健康 与 营养 调查 》 
收集 了 2~11 岁 男孩 的 平均 身高 与 体重 . 结果 如 表 4-4 所 示 . 

按照 前 面 的 策略 , 求 出 体重 与 身高 的 守 律 是 W = 16.3 互 242. 在 图 4-8 中 夯 出 
了 这 种 关系 . 因为 重量 也 代表 了 体积 , 所 以 系数 c ~ 2.42 可 以 被 看 作 人 体 的 “有 效 
体积 ”. 
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表 44 
年 龄 (年 ) 身高 (m) 体重 (kg) 身高 (m) 体重 (kg) 
2 0.912 0 13.7 7 1.260 0 27.2 
3 0.986 0 15.9 8 1.320 0 32.7 
4 1.060 0 18.5 9 1.380 0 36.0 
5 1.130 0 21.3 10 1.410 0 38.6 
6 1.190 0 23.5 1.490 0 43.7 


30 
20 
10 
0 05 1 1 
图 48 KF 2011 FHPRAESSMNRE: 最 佳 拟 合 公式 是 W = 
16.3H?? 
< 
在 血液 中 , 药物 浓度 y 与 时 间 的 关系 由 下 式 描述 : 
Y= cite. (4.21) 


这 里 t 表示 药物 引入 机 体 后 的 时 间 . 这 个 模型 的 特点 是 当 药 物 进 入 血液 后 迅速 上 
Ft, 接着 缓慢 地 指数 型 衰减 . 药物 的 半衰期 (halflife) 是 从 浓度 最 高 点 的 时 间 到 它 下 
降 一 半 水 平 的 时 间 . 通过 对 二 者 取 自 然 对 数 能 把 模型 线性 化 , 得 到 

Iny= Inc) + nt + cot, 

k+ cot =Iny — Int, 
这 里 , 我 们 已 令 上 = Inci. 这 就 导出 矩阵 方程 Az = b, 其 中 
1 t lnyı — Int; 


A= b= : (4.22) 


1 tn 
解 正规 方程 求 上 以 及 cz, 并 且 c = ek. 

例 4.11 ”把 模型 (4.21) 与 表 4-5 中 给 出 的 病人 血液 中 药物 诺 氟 西 汀 (norflu- 
oxetine) 的 测量 水 平 (ng/ml) 进行 拟 合 . 

解 正规 方程 得 到 = 2.28 以 及 cz = —0.215, 并 且 cı ~ e228 = 9.77. 模型 的 最 
佳 形式 是 y = 9.77te-0.215t, MÆR 49 中 . 根据 模型 , 可 以 估计 从 最 高 浓度 下 降 到 
一 半 水 平 的 时 间 ( 见 计算 机 问题 5). 


Inyn 一 Intn 
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表 45 
小 时 1 2 3 4 5 6 2 8 
浓度 (ng/ml) 8.0 12.3 15.5 16.8 17.1 15.8 15.2 14.0 
y 
20) 
10) 
oi a | Da 
图 4-9 ”血液 中 药物 浓度 的 曲线 : 模型 (4.21) 表明 在 初始 高 峰之 后 呈 指 
数 型 衰减 


< 


认识 到 模型 线性 化 改变 了 最 小 二 乘 问题 很 重要 . 关于 线性 化 问题 得 到 的 解 将 极 
小 化 RMSE, 这 一 点 对 原 问 题 则 不 一 定 成 立 , 原 问题 通常 会 有 一 组 不 同 的 最 优 参 数 . 
如 果 这 些 参数 非 线性 地 进入 模型 , 它们 就 不 可 能 从 正规 方程 解 得 , 因此 , 我 们 需要 
非 线 性 技术 去 解 原来 的 最 小 二 乘 问题 . 这 在 4.4 节 中 的 Gauss-Newton 法 中 完成 , 在 
那里 我 们 将 重新 使 用 汽车 供应 量 数据 , 并 且 比 较 线性 化 与 非 线性 形式 的 指数 模型 . 


习题 4.2 
1. 把 数据 与 周期 模型 y = Fs(t) = cı + ca cos 2rt + cs sin 2rt 进行 拟 合 . RH 2- 范 数 误 差 

以 及 RMSE. 
t |v t |v t 
0 |1 0 | 1 0 

(a) 1/4 | 3 (b) 1/4 |3 (c) 1/2 
1/2 | 2 1/2 | 2 1 
3/4 | 0 3/4 | 1 3/2 


2. 把 数据 与 周期 模型 F(t) = cı + ca cos 2nt + cssin 2rt UR Fa(t) = cl + c2cos2nt + 
ca sin 2nt + ca cos Ant 进行 拟 合 , RH 2- WHR |lello, 并 且 比 较 Fs 及 Fs 的 拟 合 . 


(a) 
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3. 通过 采用 线性 化 , 把 数据 与 指数 型 模型 进行 拟 合 . RRE ellz- 


t 


y tly 
“afa 0 | 1 

(a) 0 |2 (b) 1|1 
1 |a 1|2 

2 |5 2 | 4 


4, 通过 采用 线性 化 , 把 数据 与 指数 型 模型 拟 合 . 求 误差 ||ell2. 


t | y tly 
ess ore 0 | 10 

(a) -1| 2 (b) 1| 5 
1 | 1 2| 2 
2 | 1/2 3|1 

5. 通过 采用 线性 化 , 把 数据 与 军 律 模型 拟 合 . 求 拟 合 的 RMSE, 

tly 
1/6 

(a) 2/2 (b) 
3|1 
4|1 


t 
T] 
(a) 2 
3 
4 


计算 机 问题 


aaa ale 
g 
Y 
vee nje 


4.2 


1. 把 表 4-6 所 示 的 2003 年 日 本 每 个 月 的 石油 消费 量 数据 与 周期 模型 (4.9) 拟 合 , 并 且 计算 


RMSE. 


表 46 
石油 消费 (10° 桶 /天 ) 


石油 消费 (10° 桶 /天 ) 


1 月 6.224 


2 月 6.665 
3 月 6.241 
4 月 5.302 
5A 5.073 


6A 5.127 


4.994 
5.012 
5.108 
5.377 
5.510 
6.372 
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» 


p 


a 


例 4.6 中 的 温度 数据 取 自 地 下 气象 (the Weather Underground) 网 站 www.wundergr- 
ound.com. 从 你 选择 的 地 点 和 日 期 , 找 出 类 似 每 小 时 温度 的 数据 , 并 且 把 它 与 例题 的 两 种 
正弦 模型 进行 拟 合 . 

考虑 计算 机 问题 3.1.1 中 的 世界 人 口 数据 . 通过 采用 线性 化 求 数据 点 的 最 佳 指数 模型 拟 
合 . 估计 1980 年 的 人 口 , 并 求 出 估计 误差 . 

考虑 习题 3.1.13 中 的 二 氧化 碳 浓度 数据 .通过 采用 线性 化 , R CO: 浓度 水 平 与 其 底 值 
(2.97 x 1074) 的 差 的 最 佳 指数 型 拟 合 . 估计 1950 年 的 CO2 浓度 , 并 求 出 估计 误差. 


. (a) 求 在 模型 (4.21) 中 达到 最 大 浓度 的 时 间 ，(b) 在 例 4.11 的 模型 中 用 一 种 方程 解法 估 


计 半衰期 . 


BEAT 给 出 了 药物 注入 机 体 后 每 小 时 测量 的 血液 的 药物 浓度 . 拟 合 模型 (4.21). 求 出 估计 


的 最 大 值 以 及 半衰期 . 假设 药物 的 治疗 范围 是 4~15ng/ml 用 你 选择 的 方程 解法 估计 药物 
浓度 保持 在 治疗 水 准 之 内 的 时 间 . 


表 47 
小 时 1 2 3 4 5 6 7 8 9 10 
浓度 (ng/ml) 6.2 9.5 123 13.9 146 13.5 13.3 12.7 12.4 119 


4.3 QR 分 解 
在 第 2 章 , 用 LU 分 解 求解 矩阵 方程 . 分 解 是 有 用 的 , 因为 它 可 以 把 Gauss 消 


去 法 的 步骤 编码 .本 节 将 介绍 QR 分 解 , 把 它 作 为 一 种 优 于 正规 方程 的 求解 最 小 
二 乘 问题 的 方法 . 


通过 Gram-Schmidt 正 交 化 方法 引入 这 种 分 解 之 后 , 我 们 回 到 例 4.5. 对 于 这 个 


AF, 正规 方程 证 明 是 不 适当 的 . 我 们 介绍 Householder 反射 作为 计算 Q R R Hy 
更 有 效 的 方法 . 


4.3.1 Gram-Schmidt 正 交 化 和 最 小 二 乘 


Gram-Schmidt 方法 把 一 组 向 量 正 交 化 . 给 定 输入 一 组 n 维 向 量 , 目标 是 求 出 


表示 由 该 组 数据 所 张 成 的 子 空间 的 正 交 坐 标 系 . 更 精确 地 说 , 如 果 给 出 个 输入 向 
量 , 计算 个 互相 正 交 的 单位 向 量 , 它们 张 成 与 输入 向 量 相同 的 子 空间 , 单位 长 度 
对 应 于 欧 氏 长 度 或 者 2- 范 数 (4.7), 它 用 于 整个 第 4 章 . 


设 v1,… ,vk ER" 中 线性 无 关 的 向 量 . Gram-Schmidt 方法 首先 定义 


i = v1 
Bua lwall2- 


注意 


vı =711491; 
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这 里 ry = leila, 是 v1 方向 的 单位 向 量 . 为 了 求 第 二 个 单位 向 量 , 定义 
Yo = v2 — qı (4702), 
ME 
= Tule 
注意 
v2 = Y2 十 gl(gTva) = r22g2 + 71291, 


这 里 ra = ||yalla, r12 = QT v2- 一 般 地 , 定义 


Yi = vi — q (aT vi) — G2(G2 Vi) — ++ — di-a (010i), (4.23) 
Yi 
qi= Ti; 
”will 


这 意味 着 
Vi = THA FUN +t + Ti-1,ifi-1 
这 里 ra = |Iyilla, ri = afvi G= 1, i). 
显然 , 每 一 个 q 正 交 于 前 面 构造 的 正 交 的 qj (j = 1,… ,i 一 1), 由 (4.23) 得 到 
GY = qfvi— qf ATV: ~ ++ — qfqi ql ivi=0. 


从 几何 上 来 讲 ，(4.23) 对 应 于 从 vi PRE vi 在 前 面 确定 的 正 交 向 量 q; G = 
1,… ,i 一 1) 上 的 投影 . 所 余下 来 的 显然 正 交 于 qj, 并 且 , 除 以 本 身 的 长 度 后 变 成 单 
位 向 量 , 被 用 作 qi- 


1 -4 
例 4.12 对 A= | 2 3 | 的 列 应 用 Gram-Schmidt 正 交 化 . 
2 
1 
设 =v1= | 2 |. FÆ ru = ly = VE FZ +Z = 3, 并 且 第 一 个 单位 
2 
向 量 是 


oo alte cole 
uo —_4 
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为 了 求 第 二 个 单位 向 量 , 设 


一 人 
Yo = V2 — hqv = 3 | 一 
2 


pe; seen | 
P= Tule * 


ol colea cole 
5, 
x 
Y 
Il 
-_ 

| 
eano color I 
a 


wm ester AIS 


按 前 面 的 记号 ma = 2, r22 = 5. < 
Gram-Schmidt 正 交 化 的 结果 可 以 写成 下 列 和 矩阵 形式 : 


T11 Tl2 °° Tik 
722 … Tak 
(oil…|uk) = (q1 -+ lax) ee E: (4.24) 


Tkk 


向 量 ui 线性 无 关 的 假设 保证 系数 rii EP. 相反 , 如 果 vi WE v1,… vi 所 张 
成 的 空间 , 那么 在 后 面 这 些 向 量 上 的 投影 构成 完整 的 向 量 , 并 且 ria = lyil| = 0, 在 
这 种 情形 下 , Gram-Schmidt 方法 终止 . 

当 这 种 方法 成 功 时 , 习惯 地 把 正 交 单 位 向 量 矩 阵 扩充 为 R" 的 一 组 完备 基 . 例 
如 , 可 以 这 样 做 , 通过 把 n 一 k 个 额外 的 向 量 加 到 vi 使 得 这 n 个 向 量 张 成 R", 并 
且 执 行 Gram-Schmidt 方法 . 使 用 由 qi,… ,qn 形成 的 R” 的 这 组 基 , 原来 的 向 量 
可 以 表示 为 


TR kh 
T22 … Tak 
(val |e) = (al lan) Tee |- (4.25) 
O we we | 
Haarat aan, A 


这 个 矩阵 方程 就 是 由 原来 输入 向 量 形成 的 矩阵 4 = (v1|… |vk) 的 QR 分 解 . 注意 
和 矩阵 的 规格 : A 是 n xk,Q 是 n xn, 上 三 角 和 矩阵 R Æ nx k, 规格 与 4 相同 . QR 
分 解 中 的 矩阵 Q 在 数值 分 析 中 具有 特殊 地 位 , 因此 被 赋予 特殊 的 定义 . 
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EM 41 如 果 QT= Q ,那么 方 阵 Q 是 正 交 的 . 

注意 , 方 阵 正 交 的 充 要 条 件 是 它 的 列 向 量 是 两 两 正 交 的 单位 向 量 (习题 7). 因 
此 , QR 分 解 就 是 等 式 A= QR, 这 里 Q 是 正 交 方 阵 , TRS A 同 阶 的 上 三 角 
JERE. 

正 交 矩阵 的 关键 性 质 是 保持 了 向 量 的 欧 氏 范 数 . 

引 理 4.2 wRQAnxn EXKH, rz 是 n 维 向 量 , PK ||Qall2 = lel- 

证 ||Qall2 = (Qz)"Qz = 27Q" Qa = az = |z|]. 

两 个 正 交 n x n 和 矩阵 的 乘积 仍然 是 正 交 的 (习题 8). 使 用 Gram-Schmidt 方法 ， 
一 个 m x n 矩阵 的 QR 分 解 大 概 需要 n 次 乘 /除法 (是 LU 分 解 的 3 倍 ), 再 加 上 
大 约 相同 次 数 的 加 法 (习题 9). 


亮点 ER 

在 第 2 章 我 们 发 现 LU 分 解 是 对 Gauss 消去 法 的 信息 进行 编码 的 有 
效 方法 . 以 相同 的 方法 , QR 分 解 记录 了 和 拢 阵 的 正 交 化 , 即 构造 了 张 成 4 
的 列 向 量 空间 的 一 组 正 交 向 量 . 用 正 交 矩阵 进行 计算 是 最 好 的 . 这 是 因为 
(1) 根据 定义 容易 求 它们 的 逆 , (2) 根据 引 理 4.2, 它们 不 放大 误差 . 


1 -4 
$1413 RA=|2 3 | 的 QR 分解. 
2 2 


在 例 4.12 中 , 我 们 求解 正 交 单位 向 量 q = .加 上 第 3 


CETE 
a 
S 
1 
一 一 
| 
BIS com Gals 


1 
0 
0 


ï 
Ya = va — 197 V3 — 4297 V3 = | 0 | 一 | 
0 


2 
2 
= 305 10 |, gs = Vs/llysll = 
-11 -4 


个 向 量 v3 = 导出 


Bile? cope Gals 


uo —_41 
wore 


alto eol cole 


BIE ls ale 
L 
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把 各 部 分 放 到 一 起 , 我 们 就 得 到 QR 分 解 


1 一 4 5 一 14 2 3 2 
2 3|=QR= I5 10 5 10 0 5]. 
2 2 10 2 -11 0 0 


< 

MATLAB 命 令 qr 对 m x n 和 矩阵 执行 QR 分 解 . 它 不 采用 Gram-Schmidt 正 交 
化 , 但 是 4.3.2 节 将 介绍 更 有 效 和 稳定 的 方法 . 命令 

>>[Q,R]=qr(A) 
返回 因子 . 

QR 分 解 有 3 种 主要 应 用 . 我 们 在 这 里 将 陈述 其 中 两 种 , 第 3 种 是 在 第 12 章 
介绍 的 关于 特征 值 计 算 的 QR 算法 . 

首先 , 可 以 用 QR 分 解 去 解 含 n 个 未 知 量 、n 个 方程 的 方程 组 Ac =b. 只 需 
分 解 A = QR, 因此 方程 hz = b BR QRr =b UR Re = QTd. 假设 A 非 奇 
异 , 上 三 角 和 矩阵 RR 的 对 角 线 元 素 非 零 , 所 以 RR 非 奇异 . 三 角 逆 代 换 便 得 到 解 =. 如 
前 所 述 , 这 种 方法 就 复杂 性 而 言 花费 的 时 间 大 约 是 LU 分 解 方法 的 3 倍 . 

第 二 种 应 用 是 对 于 最 小 二 乘 . 设 4 m xn KE (m > n). BG || Aa — blja 极 
小 化 , 重新 写成 |QRz — blja = | Rx — QTbllz (根据 引 理 4.2). 在 Euclid 范 数 里 面 
的 向 量 是 


Ti M2 t mn 


el dı 
Ta .np N 
i zl 
En à dn (4.26) 
sons = Tnn RS Rae 4.26 
en+1 sont ae 站 es du 
Em A din 


其 中 d = QT). 假设 ra 六 0. 于 是 误差 向 量 e 的 上 面部 分 (e1,… ,en) 通过 回 
代 能 变 为 零 , zi 的 选取 对 误差 向 量 的 下 面部 分 没有 影响 ; 显然 , (enti ,em) = 
(dn+1,… ,dm). 因此 , 通过 用 回 解 上 面部 分 而 得 出 的 z, 使 得 最 小 二 乘 解 极 小 化 , 而 
且 最 小 二 乘 平方 误差 是 


lell2 = dası +++ dm- 


用 QR 分 解 的 最 小 二 乘 : 
给 定 m x n 不 相 容 方程 组 


43 QRÕ 207 


分 解 4= QR, 并 设 
R=R iE nxn PER, 
d=d=Q"b 的 前 分 量 ， 
解 Ra = a 得 到 最 小 二 乘 解 2. 
1 -4 -3 
例 4.14 QR 分 解 解 最 小 二 乘 问题 | 2 3 [2]- 15 |. 
2 2| 9 


我 们 需要 解 Ra = QTb, 或 者 


亮点 条 件 作用 

在 第 2 章 , 我 们 发 现 处 理 病态 问题 的 最 好 方法 是 避免 它们 . 例 4.15 是 
此 忠告 的 一 个 典型 情形 . 而 例 4.5 的 正规 方程 是 病态 的 . QR 方法 解 最 小 
二 乘 问题 并 没有 构造 ATA. 


最 小 二 乘 误 差 将 是 llell> = 上 |(0,0,3)|l2 = 3. 使 上 面部 分 相等 得 到 


3 2][a]_ [15 
[e sl[2l-[5] 
其 解 为 ii = 3.8, 22 = 1.8. 这 个 最 小 二 乘 问题 通过 例 4.2 中 的 正规 方程 求 得 其 解 . 
最 后 回 到 例 4.5 中 的 问题 , 它 导出 病态 正规 方程 组 . 
例 4.15 用 QR 分 解 求解 例 4.5 的 最 小 二 乘 问题 . 
在 解 这 个 含 8 个 变量 和 11 个 方程 的 最 小 二 乘 问题 的 过 程 中 , 正规 方程 格外 不 
成 功 . 我 们 用 MATLAB 的 qr 命令 执行 男 一 种 方法 : 


>> x= (2+(0210)/5)"; 
>> yaLexex. *24x. 34x. 44x. 854K. 964K. ^T; 

>> R=[x.^0 x x.^2 x.^3 x.^4 x.^5 x.^6 x.^7]1 
>> [Q,R]=ar(A); 

>> b=Q'*y; 

>> c=R(1:8,1:8)\b(1:8) 
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c= 
+99999991014308 
00000021004107 
99999979186557 
00000011342980 
99999996325039 
00000000708455 
-99999999924685 
+ 00000000003409 


用 QR 分 解 求 得 6 位 小 数 的 准确 解 c = [1,… ,1]. 这 种 方法 发 现 最 小 二 乘 解 不 需 
形成 条 件数 约 为 101 的 正规 方程 . 


oproroprpo 


B 


4.3.2 Householder 反射 


尽管 Gram-Schmidt 正 交 化 方法 是 计算 矩阵 的 QR 分解 的 一 种 方法 , 但 是 它 不 
是 最 好 的 方法 . 另 一 种 用 Householder 反射 的 方法 需要 较 少 的 运算 而 且 更 稳定 (在 
含 入 误差 放大 的 意义 下 ). 本 节 将 定义 这 种 反射 并 且说 明 如 何 利用 它们 分 解 矩 阵 . 

Householder 反射 是 一 个 正 交 和 矩阵 , 它 通 过 一 个 m 一 1 维 平面 反射 所 有 的 m 维 
向 量 . 这 意味 着 每 一 个 向 量 乘 以 这 个 矩阵 时 , 它 的 长 度 没 有 改变 , 因此 Householder 
反射 非常 适合 移动 向 量 ， 给 定向 量 z, 我 们 想 重新 确定 一 个 相同 长 度 的 向 量 w, 
Householder 反射 的 诀 穿 是 给 出 一 矩阵 H, 使 得 Hz = w. 

在 图 4-10 中 , 这 种 方法 的 由 来 是 清楚 的 . 画 一 个 m 一 1 维 平面 平分 z 和 由, 并 
且 垂 直 于 连结 它们 的 向 量 , 然后 通过 这 个 平面 反射 . 


Æ 4-10 Householder 反射 : 给 出 长 度 相同 的 向 量 = 和 w, 通过 它们 夹 
角 的 角 平 分 线 (虚线 ) 进行 的 反射 交换 它们 
引 理 4.3 ”假设 z 和 中 是 Euclid 长 度 相 同 的 向 量 , ||zll> = lwl- 那么 w- ae 
与 w+z 正 交 . 


证 (w—a)"wta) =wlw—alwt+wle—a2te = |lwl|? — |e]? =0. 
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定义 向 量 v = w- z, 并 且 考虑 投影 矩阵 


_ vet 


=o (4.27) 


投影 矩阵 (projection matrix) 是 满足 P? = P 的 矩阵 , 习题 11 要 求 读者 证 明 (4.27) 
中 的 P 是 对 称 投影 矩阵 , 而 且 Pv = v. 在 几何 上 , 对 任 一 向 量 w Pu eu fev 上 
的 投影 . 图 4-10 ÈR, 如 果 从 z 两 次 减 去 投影 Pz, 我 们 将 得 到 w. 为 了 证 明 这 一 
A, 设 H =I-2P, 于 是 


T i Th a 
Hs=s-2Pa=w-0- wv w v) 
vty vty vty (4.28) 
voT(w +s) 
=> 
vty 


最 后 的 等 式 来 自 引 理 4.3, 这 里 因为 w + z 正 交 于 v=w 一 Zz. 
矩阵 H 称 为 Householder 反射 . 注意 H 是 对 称 (习题 12) 而 且 正 交 的 矩阵 ， 
因为 
H"H = HH = (I-2P)"(1-2P)=1-4P+4P? =I. 


这 些 事实 总 结 在 下 述 定理 中 : 
定理 4.4 Householder 反射 . 设 向 量 z fw 满足 |zll2 = ||wll2. 于 是 存在 向 
E v kA H =I- 2w" /vTv 是 对 称 正 交 珑 阵 , 而 且 五 rz = 由. FKL, v =w- 
例 4.16 设 z= (3,4),w = (5,0). 求 满足 Hae = w 的 Householder 反射 H. 


并 定义 投影 矩阵 


vot 1 4 -8 0.2 一 0.4 
P= To J 
vTv 20| -8 16 —0.4 0.8 


H=I-2P= 1 o R 04 —0.8 一 0.6 08 
0 1 —0.8 16 0.8 =0.6 


检验 H 把 r ZR w, 而 且 反 之 亦 真 : 


于 是 
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mo | ollel- [i]-= 
08 -06 || 0 4 
< 

作为 Householder 反射 的 第 一 种 应 用 , 我 们 将 建立 一 种 新 的 方法 进行 QR 分 
解 . 在 第 12 章 , 我 们 把 Householder 应 用 到 特征 值 问题 , 赋 于 矩阵 上 Hessenberg 形 
式 . 在 这 两 种 应 用 中 , 我 们 将 为 了 唯一 的 目的 应 用 反射 : 把 列 向 量 zx 移 到 坐标 轴 ， 
作为 把 零 放 入 矩阵 的 一 种 方法 . 

从 我 们 想 要 写成 形式 A = QR 的 矩阵 A 开始 , 设 zl 是 4 的 第 一 列 . > 
三 士 (liz1ll2,0,… ,0) 是 沿 着 第 一 坐标 轴 , 具有 相同 Euclid 长 度 的 向 量 ，( 在 理论 
E, 任 一 符号 都 行 . 为 了 最 佳 结果 , 符号 选 为 与 = 的 第 一 分 量 的 符号 相反 的 符号 , 以 
免 在 形成 v 时 两 个 几乎 相等 的 数 相 减 的 可 能 性 .) 构造 Householder 反射 Hi, 使 得 
Hız =w. H, RU 4 得 到 


x x x 


x 
x 
x 


Hi1A= Hi 


eK: 363 
X- KEK 
| 
ooox 
x x x x 


x 


我 们 已 把 一 些 零 引入 A. 我 们 想 以 这 种 方式 继续 下 去 直到 4 变 成 上 三 角 和 矩阵 , 那 
时 我 们 将 有 了 QR 分 解 中 的 R. FR Householder 反射 Ho, 它 把 HA 第 二 列 中 
的 下 面 m — 1 个 元 素 组 成 的 mm — 1 维 向 量 za 变 成 十 (|zall>,0,…… ,0). 由 于 Ay 是 
(m 一 1) x (m 一 1) 矩阵 , 故 定义 He 是 mx m 矩阵 , 它 是 通过 把 A, 放 到 一 个 m xm 
单位 矩阵 的 右 下 方 而 形成 的 . 于 是 


X 


o; 
o Ê 
' 
0; J 


HHA 的 结果 是 上 三 角形 的 第 一 步 , 再 进行 一 步 就 给 出 


10!0 0 x xix x xix 
01:0 0 0 xix |o xix 
rates Ce | 123 
ee 0 0 1x 0 01x 
Do nTa 0 oix] 0 0:0 


因此 结果 是 
H3H2H,A=R, 
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它 是 一 个 上 三 角 和 矩阵 . ZF n 个 Householder RAH, 可 以 把 这 个 结果 重新 写成 
A= H: H:H;R = QR, 
其 中 Q = Hi1H2H3. 注意 Hi! = Hi, 这 是 因为 Hi 是 对 称 正 交 的 . 计算 机 问题 1 
要 求 读者 写 出 代码 表示 借助 于 Householder 反射 的 分 解 . 
$i 4.17 M Householder 反射 求 4 = | ; 3 | 的 QR 分解. 
需要 求 出 把 第 一 列 (3, 4) 变 到 z 轴 上 的 Householder 反射 . 我 们 在 例 4.16 中 
找到 了 这 种 反射 Hi, 并 且 


这 里 Q= HT= Hi 
1 一 4 
例 4.18 ”用 Householder 反射 求 4= | 2 3 | 的 QR 分解. 
2 2 


需要 求 出 把 第 一 列 z = [1,2,2] 变 到 向 量 w = [I|x[l2, 0,0] 的 Householder 反射 . 
Ü v =w - z = [3,0,0] - [1,2,2] = (2, -2, -2]. 参考 定理 4.4, 我 们 有 


[i100 >| 4 -4 -4 3 3 2 
= = a | 
m=|o 1 0j-ğ| 4 4]=|2 ah 

001 -4 4 4 3-2 3 


A 


GIy wl coj 


余下 的 步骤 是 把 向 量 = [一 3, 一 4 ZR = [5,0]. 从 定理 4.4 计算 A, 便 得 到 


ed bs 
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这 就 导出 
1 0 0 3 2 2 1 一 4 3 2 
H:HıA=| 0 -06 -08 ||3 4 -2 2 3/=|/0 5/=R 
0 -08 06 3-2 i 2 2 0 0 


HAUER Hy Hz’ = HH: 得 到 QR 分 解 : 


1 -4 3 2 2 1 0 0 3 2 
2 3j|=HH:R=| į -了 0 —0.6 —0.8 0 5 
2 2-2 2 0 -08 06 0 0 


1 5 -14 -2 3 2 
Q= I5 10 5 -10 R=/0 5 
10 2 11 0 0 


检验 A = QR, 并 与 来 自 例 4.13 中 Gram-Schmidt 正 交 化 的 分 解 进行 比较 . < 

对 于 给 定 的 mxn 矩阵 A, QR 分 解 不 是 唯一 的 . 例如 , 定义 D = diag(di,…， 
dm), 其 中 每 一 个 di 或 者 是 +1 或 者 是 -1. 于 是 A = QR = QDDR, 而 且 我 们 检 
验 QD 是 正 交 的 , DR 是 上 三 角 的 . 

习题 10 要 求 用 Householder 反射 的 QR 分解 的 运算 计数 , 它 达 到 (2/3)n3 UI 
法 以 及 相同 次 数 的 加 法 一 一 没有 像 Gram-Schmidt 那样 复杂 . 更 重要 的 是 , House- 
holder 方法 被 认为 提供 了 较 好 的 单位 向 量 的 正 交 性 而 且 需 要 的 内 存 较 少 . 因此 , 这 
是 分 解 典型 矩阵 为 QR 所 选择 的 方法 . 


习题 4.3 
1. 用 Gram-Schmidt 正 交 化 , 求 下 列 矩阵 的 QR 分 解 : 


4 2 1 4 8 2 
wfo] wli ?| 人 | 1 -1 eles a]. 
2 1 3 6 7 


2. 用 Gram-Schmidt 正 交 化 , R FIEREN QR 分 解 . 


2 3 -4 一 4 
(a) | -2 -6 ; (b)| -2 7 
1 0 4 -5 


43 QR 213 


3. 用 Householder 反射 , 求 习题 1 中 矩阵 的 QR 分 解 . 
4. 用 Householder 反射 , 求 习题 2 中 矩阵 的 QR 分 解 . 
5. 用 习题 2 或 习题 4 中 的 QR 分 解 , 求解 最 小 二 乘 问题 : 


2 3 3 -4 -4 3 
(a) | -2 -6 | 4 | =| -3|; @|-2 7 | i | =|9|. 
1 ojt” 6 4 sjt? 0 
6. K QOR 分 解 , 并 用 它 来 解 最 小 二 乘 问题 : 
14 3 2 4 -1 
-11|[a]_|1l. o -1]/[a]_] 3 
四 | 1 1 | z2 ] =| af) Myo 4 | z2 ] “2 |! yg 
1 0 -3 1 3 


7. 证 明 : 方 阵 是 正 交 的 当 且 仅 当 它 的 各 列 是 两 两 正 交 的 单位 向 量 . 
8. 证 明 : 两 个 正 交 n x n 和 矩阵 之 积 仍 是 正 交 的 . 
9. 证 明 : n x n 矩阵 的 Gram-Schmidt 正 交 化 大 约 需要 n? 次 乘法 以 及 ma 次 加 法 . 
10. 证 明 : 用 于 QR 分 解 的 Householder 反射 大 约 需要 (2/3)n3 次 乘法 以 及 (2/3)n? 次 
加 法 . 
11. 设 书 是 (4.27) 中 定义 的 矩阵 , WEH: 
(a) P? =P; (b) P 是 对 称 的 ;， (c) Pv=v. 
12. 证 明 Householder 反射 是 对 称 矩阵 . 


计算 机 问题 4.3 
1， 写 出 采用 Householder 反射 实现 QR 分 解 的 程序 . 通过 与 MATLAB 的 qr 命令 或 等 价 的 


命令 进行 比较 检查 你 的 工作 . 
2. 用 QR 分 解 求 以 下 不 相 容 方程 组 的 最 小 二 乘 解 以 及 2- 范 数 误差 : 
3 -1 2 10 
4 1 0 zı 10 
(a) | -3 2 1 z: |=| -5 |; 
1 15 T3 15 
-2 03 0 
4 2 3 0 10 
Tı 
一 2 3 一 1 1 0 
(b+) {| 1 3 -4 2||”]|=|2 
T3 
1 0 1-1 0 
z4 
3 91 3 -2 5 


3. & A 是 由 10 x 10 Hilbert 矩阵 的 最 前 n 列 组 成 的 10 x n PE. Bc 是 n 维 向 量 
[l,-++ 1], 并 设 b = Ac. 用 QR 分 解 求解 最 小 二 乘 问题 hz = b, 其 中 (a) n = 6, (b) 
n=8, 并 且 与 准确 的 最 小 二 乘 解 z = c 进行 比较 . 能 计算 到 多 少 位 准确 的 小 数 ? 见 计算 
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机 问题 4.18, 在 那里 使 用 了 正规 方程 . 

4. 设 z1,… ,zn 是 [2, 4] 中 11 个 等 距 点 , y= ltr tr? +r, AQRAR 
佳 d 次 多 项 式 , 这 里 (a) d = 5, (b) d = 6, (c) d = 8. 与 习题 4.5 和 计算 机 问题 4.1.9 进 
行 比较 . 系数 能 被 计算 到 多 少 位 准确 小 数 ? 


4.4 ” 非 线 性 最 小 二 乘 


线性 方程 组 hz = b 的 最 小 二 乘 解 把 残 差 的 2- 范 数 || Aw -— bll 极 小 化 . 我 们 
已 学 习 了 求 这 种 解 z 的 两 种 方法 : 一 种 基于 正规 方程 , 另 一 种 基于 QR 分 解 . 

如 果 方 程 是 非 线性 的 , 那么 上 述 两 种 方法 都 不 能 使 用 . 本 节 将 介绍 解 非 线性 最 
小 二 乘 问题 的 Gauss-Newton 方法 . 除了 说 明 应 用 这 种 方法 求解 圆周 相交 问题 之 外 ， 
还 应 用 Gauss-Newton 方法 对 数据 进行 具有 非 线性 系数 的 模型 的 拟 合 . 


4.4.1 Gauss-Newton 方法 
考虑 含 n 个 未 知 量 、m 个 方程 的 方程 组 
mi(zi Zn) 一 0 
(4.29) 
rm(zl Zn) 一 0. 


用 下 面 的 函数 


pbb tek) = arte 


2 
表示 误差 的 平方 和 , 这 里 r= [ri,… rm)”. 在 定义 中 已 包括 常数 以 简化 后 面 的 
公式 . 为 了 极 小 化 E, 我 们 令 梯度 F(x) = VE(z) 为 零 : 


E(z1,… ,zn) = 


0 = F(a) = VE(z) = v(i ir(@)"r(e)) = r(x)™Dr(a). (4.30) 


注意 到 我 们 已 经 用 了 梯度 的 内 积 法 则 ( 见 附录 A). 

我 们 通过 回忆 多 元 Newton 方法 开始 , 为 此 需要 向 量 值 函数 F(z) = r(z)TDr(z) 
的 Jacobi 矩阵 . 把 行 向 量 写成 列 向 量 (rTDr)T = (Dr) Tr. 可 以 用 和 矩阵 /向 量 乘积 法 
则 ( 见 附录 A) 得 到 


DF(a) = D((Dr)?r) = (Dr)? - Dr + SaDa 
i=1 


这 里 c 是 Dr 的 第 i 列 . HER Dei = 互 -,(ri 的 二 阶 偏 导数 矩阵 或 者 ri 的 Hessian 和 矩 
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阵 )， 
Om... Ore 
02,021 Or107n 
H, = í i 
Pr Ori 
02,021 OrnOrn 


如 果 省 略 求 和 项 , 那么 应 用 Newton 方法 就 大 大 地 被 简化 . 一 种 改进 的 Newton 
方法 称 为 拟 Newton 方 法 , 不 直接 使 用 函数 的 导数 , 而 是 近似 地 把 函数 的 导数 置 为 
零 . 在 求 和 中 省 略 高 阶 项 就 给 出 以 下 拟 Newton 方法 . 


Gauss-Newton 方法 


要 极 小 化 
ry (x)? 十 :十 rm(z)2. 
Ro = 初始 向 量 ， 
for k=0,1,2,..- 
Dr(x*)?Dr(z*)v* = —Dr(a*)Tr(a*) 
gtt! = gk 4 yk (4.31) 
end 


YER, Gauss-Newton 方法 的 每 一 步 使 人 回想 起 正规 方程 , 正规 方程 中 的 系数 
矩阵 已 被 Dr 代替 . Gauss-Newton 方法 求解 误差 平方 的 梯度 的 根 . 尽管 在 极 小 值 
处 梯度 必须 是 零 , 但 反之 不 一 定 正确 ， 所 以 这 种 方法 可 能 收敛 于 最 大 值 或 中 性 点 
(neutral point). 在 说 明 这 种 算法 结果 时 必须 小 心 . 

两 个 相交 圆 相交 于 一 点 或 两 点 , 除非 这 两 个 圆 重合 . 然而 , 平面 上 的 三 个 圆 一 
般 没 有 公共 的 交点 . 在 这 样 的 情形 下 , 我 们 能 够 求 平面 上 的 点 , 使 它 在 最 小 二 乘 意 
义 下 与 交点 最 近 . 

例 4.19 ”考虑 平面 上 中 心 为 (zi 加) = (-1,0), (22,92) = (1,4), (23,93) = 
(1,4), 半径 分 别 为 Ri = 1, R = }, Rs = } 的 3 个 圆 . 用 Gauss-Newton 方法 求 
得 3 个 圆 的 距离 平方 和 最 小 的 点 . 

3 个 圆 如 图 4-11a 所 示 . 所 求 的 点 (x,y) 使 残 差 的 平方 和 最 小 : 


ri(z,y) = V(@— 21)? + (y - y1)? - 


ra(z,y) = V (£ — 12)? + (y— y2)? — Ra, 
ra(z,y) = y (z — 23)? + (y — ys)? — 
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这 是 根据 点 (z,9y) 到 以 (z1, 胃 ) 为 中 心 、 Ri 为 半径 的 圆 的 距离 是 |V(z 一 z1)3+(y 一 y1)2 
一 Ri| 这 个 事实 (见习 题 3). r(z,y) 的 Jacobi 矩阵 是 


zm, y4 
本 a 
Dr(z,y) = za yy 


这 里 S; = ya- n) + (y— Hi)? (i = 1,2,3). 初始 向 量 (z0,y0) = (0,0) 的 Gauss- 
Newton 迭代 收敛 于 (z, 7) = (0.412 891,0), 在 7 HEA 6 位 准确 小 数 . < 


图 411 3 个 圆 的 拟 交 点 (near-intersection point): (a) 用 Gauss- 
Newton 方法 求 得 的 最 小 二 乘 拟 交点 ; (b) 用 同一 数量 来 延长 3 
个 圆 的 半径 给 出 由 多 元 Newton 方法 得 出 的 不 同类 型 的 拟 交点 ; 
(c) 例 4.21 中 带 有 最 小 二 乘 解 的 点 的 4 个 圆 


一 个 与 3 个 圆 有 关 的 问题 给 出 了 不 同类 型 的 回答 . 不 是 求 与 交点 最 相似 的 点 ， 
我 们 可 以 用 同一 数量 延长 (或 收缩 ) 圆 的 半径 , 直到 它们 有 共同 交点 . 这 等 价 于 解 
方程 组 : 


r2(z,y) = y (z — 22)? + (y — y2)? — (Ra + K) =0, (4.32) 
r3(z,y) = y (z — z3)? + (y — ys)? — (Ra + K) = 0. 
用 这 种 方法 确定 的 点 (2, y) 不 一 定 与 例 4.19 的 最 小 二 乘 解 相同 . 
例 4.20 KRAH 4.19 中 的 圆 , 通过 解 方程 组 (4.32) 求 (z,y, K). 


方程 组 包括 含 3 个 未 知 量 的 3 个 非 线性 方程 , 需要 用 多 元 Newton 方法 . Jacobi 
矩阵 是 


| ri(z,y) = VE -r+ -ne (Rı + K) =0, 
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Newton 方法 在 3 步 内 得 到 解 (z,y, 天 ) = (1/3,0, 1/3). 交点 (1/3,0) 以 及 用 K = 1/3 
伸 长 半径 的 3 个 圆 , 见 图 411b. < 

例 4.19 和 例 4.20 就 一 组 圆 的 “ 拟 交点 ” 表明 了 两 种 不 同 观点 . 例 4.21 把 这 种 
方法 结合 在 一 起 . 

例 4.21 考虑 圆心 分 别 是 (一 1,0), (1, 1/2), (1, -1/2), (0, 1), 半径 分 别 是 1, 1/2, 
1/2, 1/2 的 4 个 圆 . 求 点 (z,y) 以 及 常数 K, 使 得 这 一 点 到 半径 增加 了 天 (于 是 分 
RNA 1+ K,1/2+ K,1/2+ K,1/2+ K) 的 4 个 圆 的 距离 的 平方 和 成 为 极 小 . 

该 例 直 接 把 前 面 两 个 例题 结合 在 一 起 . AS 3 个 未 知 量 ry, K 的 4 个 方程 . 
最 小 二 乘 残 差 类 似 于 (4.32), 但 是 带 有 4 项 , 并 且 Jacobi 矩阵 是 


ein eas 
a ee 
Dr(z,y) = P = 


z-z3 yous 4 
$3 53 


zz4 yl 
4 4 


Gauss-Newton 方法 提供 了 解 (到 ,人 = (0.311 385, 0.112 268) 及 K = 0.367 164, 如 图 
4-11e 所 示 . 

Bl 4.21 对 三 维 球 的 模拟 建立 了 全 球 定位 系统 (GPS) 的 数学 基础 ， 见 实例 检 
验 4. 


4.4.2” 带 非 线性 系数 的 模型 


Gauss-Newton 方法 的 一 种 重要 应 用 是 对 系数 为 非 线 性 的 模型 进行 拟 合 . 设 
(tiry) > (ms Ym) 是 数据 点 , y = fc(z) 是 要 拟 合 的 函数 , 这 里 c = [c1,… ,cp] 是 
一 组 参数 , 选择 它们 来 极 小 化 残 差 


mi(c) = felts) - vı 


rm(c) = fe(tm) — ym 


的 平方 和 . 通常 我 们 认为 在 这 里 足以 有 必要 对 (4.29) 这 种 特殊 情形 作 特别 处 理 . 

如 果 参 数 c1,.… ,cp 以 线性 方式 进入 模型 , 那么 这 是 一 组 关于 ci 的 线性 方程， 
因此 正规 方程 , 或 者 QR 分解 的 解 给 出 了 参数 c 的 最 优选 择 . 如 果 参 数 ci 在 模型 中 
是 非 线性 的 , 那么 进行 同样 处 理会 得 到 关于 ci 是 非 线性 的 方程 组 的 结果 . 例如 , 对 
数据 点 (tyi) 拟 合 模型 y = ot, 产生 非 线 性 方程 组 
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wi =aty, 


yo =at? 


Ym =Car te. 


因为 co 非 线性 地 进入 模型 , 所 以 方程 组 不 能 写成 矩阵 形式 . 


亮点 ”收敛 性 

最 小 二 乘 问题 中 的 非 线性 引起 额外 的 挑战 . 只 要 系数 矩阵 A 满 秩 , IE 
规 方程 及 QR 分 解 方法 就 会 求 得 唯一 解 . 另 一 方面 , 用 于 非 线性 问题 的 
Gauss-Newton 迭代 可 能 收敛 于 最 小 二 乘 误 差 的 几 个 不 同 的 相对 极 小 值 中 
的 一 个 . 如 果 存 在 的 话 , 则 对 初始 向 量 采 用 合理 的 近似 方法 有 助 于 收敛 到 
绝对 极 小 值 . 


在 4.2 节 中 , 我 们 通过 改变 问题 来 处 理 这 种 困难 . 通过 对 模型 两 边 取 对 数 “ 使 
模型 线性 化 ,而 且 通过 最 小 二 乘 来 极 小 化 在 这 些 对 数 变换 坐标 中 的 误差 . 在 对 数 
变换 坐标 确实 是 可 以 极 小 化 误差 的 情形 下 , 这 种 方法 才 是 合适 的 . 

然而 , 为 了 解 原来 的 最 小 二 乘 问题 , 我 们 转向 Gauss-Newton 方法 . 它 用 于 对 作 
为 参数 c 的 向 量 函数 的 误差 函数 E 进行 极 小 化 . 矩阵 Dr 是 误差 r 关于 参数 cj 
的 偏 导数 的 矩阵 , 它们 是 


(Dr)y = z = felts). 


有 了 这 些 信息 , 就 可 以 实现 Gauss-Newton 方法 (4.31) T. 

例 4.22 用 Gauss-Newton 方法 , 把 例 4.8 中 的 世界 汽车 供应 量 数据 与 ( 非 线 
性 ) 指数 型 模型 进行 拟 合 . 

求 数据 对 于 指数 型 模型 的 最 佳 最 小 二 乘 拟 合 就 是 求 cl ca, 使 误差 7; = yi 一 
cet (i = 1,… ,m) 的 RMSE 极 小 化 . 利用 4.4.1 节 中 的 模型 线性 化 , 我 们 极 小 
化 对 数 模型 的 误差 mw 一 (In cl + czti) 的 RMSE. 在 两 种 不 同意 义 下 极 小 化 RMSE 
的 ci 值 一 般 是 不 同 的 . 

要 通过 Gauss-Newton 方法 计算 最 佳 最 小 二 乘 拟 合 , 定义 


ceti 一 yy 


tm 
ceim — ym 
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且 对 参数 c 及 co 取 导数 , 得 到 


@c2t1 cyte" 


ecatm citecatm 


这 个 模型 是 要 拟 合 世界 汽车 供应 量 数据 , 这 里 t 按 年 度量 , 从 1970 年 起 , 汽车 
数量 以 10° 计 . 进行 5 步 Gauss-Newton 方法 (4.31), 从 初始 估计 (ct cz) = (50, 0.1) 
开始 产生 (cx, cz) = (58.51, 0.057 72), CA 4 位 精确 数字 对 此 数据 的 最 佳 最 小 二 
乘 指数 型 模型 是 

y = 58.51e0.057 72¢ (4.33) 


如 图 4-12 所 示 . RMSE 是 7.68, 意思 是 在 最 小 二 乘 意 义 下 7.68 x 108 辆 汽车 的 平均 
模型 误差 . 


0 z 
1950 1960 1970 1980 


图 4-12 不 使 用 线性 化 的 世界 汽车 供应 量 数据 的 指数 型 拟 合 : 最 佳 
最 小 二 乘 拟 合 是 y = 58.51e” 7 


最 佳 模型 (4.33) 可 以 与 在 例 4.8 中 算得 的 最 佳 线性 化 指数 型 模型 
y = 54.03e0.061 52t 


进行 比较 . 这 是 从 用 于 线性 模型 ny = ln cl + cat 的 正规 方程 中 得 到 的 . 线性 化 模 
型 的 误差 7; 的 RMSE 是 9.56, 比 所 要 求 的 (4.33) 的 RMSE K. 然而 , 线性 化 模型 
极 小 化 误差 Iny; - (In cl + cot) 的 RMSE, 给 出 值 0.035 7, 比 所 要 求 的 模型 (4.33) 
相应 的 值 0.056 8 要 低 . 每 一 个 模型 在 各 自 的 数据 空间 是 最 优 拟 合 . 

原则 上 对 解 任何 一 个 问题 都 有 几 种 计算 算法 . 极 小 化 ri 是 标准 的 最 小 二 乘 问 
题 , 但 是 使 用 者 必须 在 数据 背景 的 基础 上 确定 极 小 化 误差 和 极 小 化 对 数 误差 哪 一 个 
更 合适 . < 
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习题 4.4 


1. 


T. 


Gauss-Newton 方法 可 用 于 求 到 3 个 圆 的 距离 平方 和 最 小 的 点 (2,7). 取 初 始 向 量 (co, 
yo) = (0,0), 执行 第 一 步 求 (z1,y1)，(a) 圆心 是 (0, 1), (1, 1), (0, 一 1), 半径 全 是 1. 
(b) 圆心 是 (一 1, 0), (1, 1), (1, 一 1), 半径 全 是 1 (计算 机 问题 1 BR (z,9)). 


.对 习题 1 中 的 3 个 圆 执行 应 用 到 方程 组 (4.32) 的 多 元 Newton 方法 的 第 一 步 . 取 (zo, yo, 


Ko) = (0,0,0). (计算 机 问题 2 要 求解 (z,y, K).) 


,证明 : 点 (x,y) 到 贺 (c@—21)? + (v-v)? = R? 的 距离 是 |V(z — 21)? + y- i)? — Ri. 
. 证 明 : 用 于 解 线性 方程 组 Az = b 的 Gauss-Newton 方法 一 步 收敛 到 正规 方程 的 解 . 
. RAE Gauss-Newton AH FRE AW (ti, y1), (t2, y2), (ta, ys) 的 模型 拟 合 问题 所 需要 


的 矩阵 Dr. (a) REPEAL y = cit, (b) y = cite". 


. 求 把 Gauss-Newton 迭代 用 于 数据 点 (ti, y1), (t2, y2), (ts, ys) 的 模型 拟 合 问题 所 需要 的 


矩阵 Dr. (a) 平移 指数 型 模型 y = cs + cre! (b) PERRIN y = ca + ct. 
证 明 (4.32) 的 实数 解 (z,y, K) 的 个 数 是 无 穷 多 个 或 者 最 多 两 个 . 


计算 机 问题 4.4 


1. 


6. 


用 Gauss-Newton 方法 求 到 3 PAWER PARAR (2,7). 使 用 初始 向 量 (zo， 
yo) = (0,0). (a) 圆心 是 (0, 1), (1, 1), (0, 一 1), 半径 都 是 1.(b) Mod (一 1, 0), (1, 1), 
(1, 一 1), 半径 都 是 1. 


.对 于 计算 机 问题 1 中 的 3 个 圆 , 把 多 元 Newton 方法 用 于 方程 组 (4.32). 使 用 初始 向 量 


(zo, yo, Ko) = (0,0, 0). 


RA (c, y) 及 距离 K, 使 得 如 同 例 4.21 那样 , 当 圆 半径 增加 K 时 , 该 点 到 4 个 圆 的 距离 


平方 和 为 最 小 ，(a) 圆心 是 (一 1, 0), (1, 0), (0, 1), (0, 一 2), 半径 都 是 1 (b) 圆心 是 (一 2， 
0), (3, 0), (0, 2), (0, 一 2) 半径 都 是 1. 


.对 下 面 的 圆 , 执行 计算 机 问题 3 的 步骤 , 并 且 画 出 结果 . (a) 圆心 是 (—2, 0), (2, 0), (0, 2), 


(0, 一 2), (2, 2), 半径 分 别 是 1,1, 1, 1, 2. (b) 圆心 是 (1, 1), (1, —1), (—1, 1), (2, 0), 半 
径 都 是 1. 


e XHB 4.10 中 的 身高 /体重 数据 , 不 经 过 线性 化 , 用 Gauss Newton AHA EAA, 计 


算 RMSE. 
不 经 过 线性 化 , 对 例 4.11 中 的 数据 拟 合 血液 浓度 模型 (4.21). 


实例 检验 4 GPS、 条 件 作用 和 非 线性 最 小 二 乘 


全 球 定位 系统 (GPS) 由 携带 原子 钟 的 24 颗 卫 星 组 成 , 它们 沿 离 地 球 高 度 为 20 200km 的 


轨道 运行 . 6 个 平面 的 每 一 平面 中 有 4 MEE, 平面 相对 于 地 极 倾斜 55°, 每 天 作 两 次 公转 . 在 
任何 时 间 , 从 地 球 上 任何 点 , 都 可 以 直接 看 到 5~v8 MEE. 每 颖 卫星 有 简单 的 任务 : 仔细 地 从 
空间 中 预先 确定 的 位 置 传送 同步 信号 , 它们 被 地 球 上 的 GPS 接收 器 所 收集 . 接收 器 利用 这 些 
信息 进行 数学 处 理 ( 稍 后 将 会 阐述 ), 确定 接收 器 的 精确 坐标 (z,y, 2). 


FER ERAT, 接收 器 从 第 i 个 卫星 收集 到 同步 信号 并 且 确 定 它 的 传递 时 间 t, 即 发 送信 


号 与 收 到 信号 的 时 间 差 . 信号 的 标准 速度 是 光速 c ~ 299 792.458 km/s. 用 c 乘 传递 时 间 给 出 
接收 器 到 卫星 的 距离 . 把 接收 器 放 在 以 卫星 的 位 置 为 中 心 、 半 径 为 et 的 球 的 表面 . WR 3 颗 
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卫星 都 可 用 , 那么 我 们 知道 3 个 球面 , 它们 的 交点 由 两 个 点 组 成 , 如 图 4-13 所 示 . 一 个 交点 是 
接收 器 的 位 置 , 另 一 个 一 般 远离 地 球 表面 , 因此 可 以 放心 地 忽略 不 计 . 在 理论 上 , 该 问题 化 为 计 
算 这 一 交点 , 即 3 个 球面 方程 的 公共 解 . 


图 413 3 个 相交 的 球 . 一 般 地 , 只 有 两 点 落 在 所 有 3 个 球 上 


然而 , 前 面 的 分 析 中 有 一 个 主要 问题 . 首先 , 尽管 卫星 的 信号 传递 时 间 通过 它 上 面 的 原子 
钟 进行 的 计时 , 几乎 精确 到 纳 秒 (107° 秒 ), 但 是 地 球 上 一 般 低 成 本 的 钟 , 相对 而 言 精确 度 较 差 . 
如 果 我 们 求解 方程 时 使 用 稍 不 精确 的 时 间 测定 , 那么 计算 得 到 的 位 置 可 能 有 几 千 米 的 误差 . 幸 
运 的 是 , 有 一 种 方法 可 以 解决 这 个 问题 , 但 需要 使 用 一 颗 额 外 的 卫星 . 定义 d 是 (现在 是 4 颗 ) 
卫星 上 的 钟 与 地 球 上 接收 器 的 钟 的 同步 时 间 的 差 . 用 (Ai, Bi, Ci) 表示 卫星 i 的 位 置 . 那么 真 
正 的 交点 (x,y,z) 满足 


(2—41)? + (y — Bi)? + (z — C1)? = [elti — d)]?, 
(z — Aa)? + (y — Ba)? + (z — C2)? = [e(t2 — d)]?, 
(a — As)? + (y — Bs)? + (z — Cs)? = [elta — d)}?’, 
(2 — Aa)? + (y — Ba)? + (2 — Ca)? = [c(ts — d)}’, 


(4.34) 


求解 未 知 量 z,y, z,d 即 可 . 求解 这 个 方程 组 不 仅 得 出 接收 器 的 位 置 , 而 且 由 于 d, 也 可 以 得 出 
卫星 上 钟 的 正确 时 间 . 因此 , 通过 使 用 一 颗 额 外 的 卫星 , 就 能 解决 GPS 接收 器 的 钟 的 不 精确 
性 的 问题 . 

从 几何 上 来 讲 ,4 个 球 可 能 没有 交点 , 但 是 , 如 果 把 半径 伸 长 或 缩短 一 个 合适 的 相同 的 量 ， 
那么 它们 将 有 交点 . 表示 4 个 球 相交 的 方程 组 (4.34) 是 表示 平面 中 3 个 圆 交点 的 (4.32) 的 三 
维 模拟 . 

求解 方程 组 (4.34) 得 到 (z,y, z, d) 并 不 困难 . 注意 , 从 第 一 个 方程 减 去 后 面 3 个 方程 就 得 
到 3 个 线性 方程 . 每 个 线性 方程 可 以 用 于 消去 一 个 变量 r, y, z, 并 且 通 过 代入 到 任何 一 个 原 方 
程 , 就 会 得 到 单个 变量 d 的 二 次 方程 . 因此 , 方程 组 (4.34) 最 多 有 两 个 实数 解 ,而且 可 以 通过 
二 次 方程 公式 求 得 它们 . 

在 应 用 GPS 时 进一步 出 现 了 两 个 问题 . 首先 是 方程 组 (4.34) 的 条 件 作 用 . 我 们 将 发 现 当 
卫星 在 天 空中 紧密 集聚 时 , 求解 (z,y, z, d) 是 病态 的 . 
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第 二 个 困难 是 信号 的 传送 速度 并 不 精确 地 是 c. 信号 要 通过 100km 电 高 层 和 10km 对 流 
层 , 它们 的 电磁 性 质 可 能 影响 传送 速度 . 更 有 其 者 , 在 到 达 接 收 器 之 前 , 信号 可 能 遇 到 地 球 上 
的 障碍 物 , 即 称 为 多 路 径 干扰 的 影响 . 如 果 认 为 这 些 障碍 物 在 每 个 卫星 的 轨道 上 有 相同 的 影响 ， 
那么 在 (4.34) 的 右边 引入 时 间 校 正 d 会 有 帮助 . 然而 , 这 种 假设 通常 是 行 不 通 的 , 而 且 将 引导 
我 们 从 更 多 的 卫星 增加 信息 , 以 及 考虑 用 Gauss-Newton 方法 来 求解 最 小 二 乘 问题 . 

考虑 原点 是 地 球 中 心 (半径 = 6370km) 的 三 维 坐 标 系 . GPS 接收 器 把 这 些 坐 标 转变 成 续 
度 、 经 度 和 高 度 等 数据 , 供用 全 球 信息 系统 (GIS) 读 取 和 用 于 更 复杂 的 映射 . 我 们 在 这 里 不 考 
虚 其 过 程 . 


建议 习题 


1. 编写 一 个 MATLAB 程 序 ， 来 求解 前 面 叙述 的 二 次 求 根 公式 . 对 于 已 知 的 同步 卫星 位 置 
(15 600, 7 540, 10 380), (11 760, 2 750, 16 190), (11 610, 14 630, 7 680), (15 170, 
610, 13 320) 单位 是 千 米 , 并且 测量 得 到 的 时 间 间 隔 分 别 是 0.059 320 0, 0.051 920 0, 
0.062 420 0, 0.055 710 Os, 求 接收 器 靠近 地 球 的 位 置 (z,y, z) 以 及 时 间 校 正 4， 作 为 检 
查 , AR (x,y, z) = (一 19.053, 11.318, 6 370.252) 以 及 d = 一 0.000 021 26s. 

2. WRA MATLAB Symbolic Toolbox( 或 像 Maple 或 Mathematica 这 种 符号 包 ) 可 能 替换 
第 一 步 . 通过 用 syms 命令 定义 符号 变量 , 并 用 Symbolic Toolbox 中 的 命令 solve 解 同 步 
方程 . 利用 subs 把 符号 结果 计算 成 浮 点 数 . 

3， 作 为 第 一 步 的 另 一 种 替换 ， 通 过 使 用 多 元 Newton 方法 解 方程 组 (4.34)， 令 初始 向 量 
(z0, yo, 20, do) = (0,0,6 370,0). 把 你 的 结果 与 第 一 步 或 者 第 二 步 比较 . 

现在 建立 GPS 问题 的 条 件 作用 的 试验 . 用 球 坐 标 (p, pi, 01) 把 卫星 的 位 置 (Ai, Bi, Ci) 
定义 为 
Ai = pcos ĝi cos ĝi, 
B; = pcos $i sin bi, 
Ci= psin gi, 


其 中 p = 20 200km 是 固定 的 , 而 0< pi < 7/2 及 0 < 9; < 2x (i= 1,.… ,4) 是 任 选 的 . 
限制 $ 坐标 使 得 4 个 卫星 在 上 半球 . 设 z = 0,y = 0,z = 6 370,d = 0.000 1, 并 且 计算 
相应 的 卫星 范围 R = A? +B? + (Ci 一 6 370)? 以 及 移动 时 间 ti =d+ Ri/c. 

我 们 将 定义 特定 于 这 种 情形 的 误差 放大 因子 . 卫星 上 的 原子 钟 准确 到 大 约 10ns 即 
107s. 因此 , 研究 这 样 大 小 的 传送 时 间 的 改变 的 影响 是 重要 的 ， 设 后 向 或 者 输入 误差 是 
输入 以 米 为 单位 的 改变 . 对 于 光速 ,At = 10-ss, 相应 于 10-sc = 3m, 设 前 向 或 者 输出 
误差 是 通过 ty 这 种 改变 造成 的 位 置 的 改变 |(Ar, Ay, Az)|l。, 也 以 米 为 单位 . 那么 我 们 
能 够 定义 无 量 纲 

(Az, Ay, Az)lloo 
ell(Ati,--- , Atm) 


以 及 问题 的 条 件数 是 对 一 切 小 的 At (譬如 说 10- 或 更 小 ) 的 最 大 的 误差 放大 因子 . 
4. 改变 之 前 由 Ati = +10-8 或 -10-8 定义 的 每 一 个 二 不 必 都 相同 . 现在 用 (2,7,2,1) 表 
示 方程 (4.34) 的 新 的 解 ， 并 且 计算 位 置 的 差 |(Az, Ay, Az) 以 及 误差 放大 因子 . R 


误差 放大 因子 = 
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用 A 的 不 同 的 变化 , 以 米 为 单位 , 求 出 最 大 的 位 置 误差 .以 算出 的 误差 放大 因子 为 基 
础 , 估计 这 个 问题 的 条 件数 . 

5. 现在 用 更 紧密 组 合 的 一 组 卫星 重复 第 4 步 . 选择 彼此 在 5% 以 内 的 i 以 及 5% 以 内 的 
Oi. 如 在 第 4 步 那 样 带 或 者 不 带 相同 的 输入 误差 进行 求解 ， 求 出 最 大 的 位 置 误差 以 及 误 
差 放 大 因子 . 当 卫 星 紧密 地 或 松散 地 聚 在 一 起 时 , 比较 GPS 问题 的 条 件 作 用 . 

6. 确定 是 否 可 以 通过 增加 卫星 来 减 小 GPS 误差 及 条 件数 . 回 到 第 4 步 中 没有 密集 配置 卫 
星 的 情形 , 再 增加 4 颗 卫星 . (在 所 有 时 间 及 地 球 上 的 每 一 位 置 , 能 看 见 5~12 Wi GPS E 
Æ.) 设计 Gauss-Newton 迭代 来 求解 4 个 变量 (z,y, z,d). 8 个 方程 的 最 小 二 乘 方程 组 . 
好 的 初始 向 量 是 什么 ? 求 出 最 大 的 GPS 位 置 误差 , 并 且 估 计 条 件数 ， 从 4 颗 不 密集 配 
置 、4 颗 密集 配置 以 及 8 颗 不 密集 配置 的 卫星 , 总 结 你 的 结果 , 哪 种 配置 形式 最 佳 ? 以 米 
为 单位 , 最 大 的 GPS 误差 是 什么 ? 这 些 是 根据 卫星 信号 你 完全 应 该 预期 到 的 . 


软件 和 进一步 阅读 


最 小 二 乘 近似 起 始 于 19 世纪 早期 . 和 多 项 式 插值 一 样 , 可 以 把 它 看 成 一 种 有 损耗 的 压缩 
形式 , 用 于 对 复杂 的 或 者 有 噪声 的 数据 集 求 出 简单 的 表达 式 ， 直 线 函数 、 多 项 式 、 指 数 型 函数 
以 及 罕 律 函数 是 实 通常 采用 的 模型 ， 周 期 数据 需要 三 角 表 达 式 , 它们 被 取 到 极 值 就 导出 第 10 
章 中 介绍 的 三 角 揪 值 和 三 角 最 小 二 乘 拟 合 . 

通过 使 用 4.2 节 的 3 步 方法 , 我 们 能 够 用 系数 是 线性 的 任何 函数 去 拟 合 数据 , 结果 是 正规 
方程 的 解 . 对 于 病态 问题 , 不 建议 用 正规 方程 , 这 是 因为 这 种 方法 的 条 件数 大 致 按 平 方 增 大 . 在 
这 种 情形 下 优先 选用 的 矩阵 分 解 方法 是 QRR 分 解 , 而 在 某 些 情形 下 是 第 12 章 介绍 的 奇异 值 
分 解 . 教科 书 [3] BAF QR 和 其 他 矩阵 分 解 的 优秀 参考 书 ,教科 书 [5] 全 面 介 绍 了 最 小 二 乘 
的 基础 知识 . 更 加 专业 的 参考 书 [1,2,6] 覆盖 了 最 小 二 乘 拟 合 线性 及 多 元 回归 的 统计 学 知识 . 

如 果 方 程 组 相 容 , 用 MATLAB 的 反 斜 线 命令 对 于 Ax = b 的 执行 Gauss 消去 法 ; 如 果 
方程 组 不 相 容 , 通过 QR 分 解 求解 最 小 二 乘 问题 . MATLAB 的 qr 命令 是 以 LAPACK 的 程序 
DGEQRF 为 基础 的 . IMSL 库 为 最 小 二 乘 数 据 拟 合 提供 了 程序 RLINE. NAG 库 程 序 E02ADF 
对 多 项 式 执行 最 小 二 乘 近似 方法 , 如 同 MATLAB 的 polyfit 一 样 . 诸如 S+, SAS, SPSS, 以 及 
Minitab 这 类 统计 学 软件 包 执行 各 种 回归 分 析 . 

非 线性 最 小 二 乘 涉及 拟 合 在 模型 中 的 非 线性 系数 . 对 于 这 种 计算 Gauss-Newton 方法 是 
首选 工具 , 尽管 收敛 性 没有 保证 , 而 且 甚至 在 收敛 时 , 也 不 意味 着 有 唯一 的 最 佳 值 . 我 们 可 以 在 
MATLAB Optimization Toolbox ( MATLAB 最 优化 工具 箱 ) 中 找到 关于 Gauss-Newton 方法 的 
软件 . 关于 GPS 的 数学 知识 的 介绍 见 [7], 关于 这 个 专题 的 一 般 信息 见 团 . 
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计算 机 辅助 制造 取决 于 对 沿 规定 路 径 运动 的 精确 控制 . 数控 车 床 和 铣床 依靠 通 
常 由 计算 机 辅助 设计 软件 给 出 的 三 次 或 Bézier 样 条 这 种 参数 曲线 画 出 切割 或 创 前 
工具 的 轨迹 . 计算 机 生成 的 动画 制作 、 计 算 机 游戏 以 及 虚拟 现实 的 应 用 都 面临 着 类 
似 的 问题 . 

实例 检验 ”5.5 节 后 的 实例 检验 探讨 了 沿 着 任意 的 参数 路 径 的 速度 控制 问题 . 
对 于 按 规定 速度 在 曲线 上 移动 的 路 径 参数 , 这 条 曲线 关于 弧 长 被 重新 参数 化 . 对 弧 
长 的 积分 应 用 自 适应 求 积 法 就 提供 了 取得 这 种 控制 的 有 效 方法 . 


微 积分 计算 的 主要 问题 是 计算 函数 的 导数 和 积分 ， 对 这 种 问题 可 以 采取 两 种 
方法 : 数值 计算 和 符号 计算 . 本 章 将 讨论 这 两 个 问题 , 但 是 将 十 分 详细 地 研究 数值 
计算 问题 . 导数 和 积分 都 有 明确 的 数学 定义 , 但 是 用 户 想 要 的 答案 类 型 常常 与 函数 
定义 的 方式 有 关 . 

像 f(z) = sinc 这 一 类 函数 的 导数 是 微 积分 引 论 所 研究 的 问题 . 如 果 函 数 用 基 
本 函数 给 出 , 比如 f(z) = sin3(ztanz coshz), 它 的 三 阶 导数 通过 符号 计算 方法 可 以 
较 快 地 求 得 , 这 里 的 微 积分 法 则 是 由 计算 机 来 执行 的 . 在 答案 能 用 基本 函数 表达 的 
情形 中 , 对 反 导 数 而 言 相 同 的 结论 也 是 正确 的 . 

在 实践 中 , 对 一 个 已 知 的 函数 还 可 以 用 另外 两 种 常用 的 方法 . 一 个 函数 可 以 定 
义 为 一 个 表格 . 例如 由 实验 测量 得 到 的 时 间 / 温 度 对 表格 {(t1, Ti), (tns Ta) (RVF 
是 在 相等 间隔 的 时 间 )， 在 这 种 情形 下 , 用 大 学 一 年 级 微 积 分 中 的 法 则 来 求 导数 和 
反 导 数 是 不 可 能 的 . 最 后 , 函数 可 以 定义 为 实验 或 计算 机 模拟 的 输出 , 而 它们 的 输 
入 是 由 用 户 所 确定 . 在 后 两 种 情形 中 , 不 能 使 用 符号 计算 方法 , 解决 这 种 问题 需要 
用 数值 微分 和 积分 . 


5.1 数值 微分 
首先 , 我 们 建立 用 于 近似 导数 的 有 限 差分 公式 . 在 某 些 情形 下 , 这 就 是 计算 的 
目的 . 在 第 7 章 和 第 8 章 中 , 将 用 这 些 公式 离散 常 微分 方程 和 偏 微分 方程 . 
5.1.1 有限 差分 公式 
根据 定义 ,f(z) 在 z 处 的 导数 是 
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FE) = fim SEHN SO), (5.1) 


当然 , 前 提 是 这 个 极限 存在 .这 就 为 近似 在 > 处 的 导数 导出 了 一 个 有 用 的 公式 . 
Taylor 定理 告诉 我 们 , 如 果 f 是 二 次 连续 可 微 的 , 那么 


He+n) = fetr, (52) 
这 里 c 在 z 和 z+h 之 间 . SX (5.2) 意味 着 以 下 公式 : 
两 点 前 向 差分 公式 
Mae e O 63) 
这 里 c 在 z Math Zia. 


在 有 限 计算 中 , 我 们 在 (5.1) 中 不 能 取 极限 , 但 是 如 果 h 是 小 量 , (5.3) 意味 着 

商 式 非常 接近 这 个 导数 . 我 们 通过 计算 近似 式 
Pax NIO G 

并 把 (5.3) 中 的 最 后 一 项 处 理 为 误差 , 来 使 用 (5.3) 因为 由 近似 所 造成 的 误差 正比 
于 增 量 h 所 以 我 们 可 以 通过 使 h 变 小 而 使 误差 变 小 . 两 点 前 向 差分 公式 是 近似 一 
阶 导数 的 一 阶 方法 . 一 般 地 , 如 果 误差 是 O(N"), 我 们 就 称 公式 是 m 阶 近似 

称 这 个 公式 “一 阶 ” 的 微妙 之 处 是 c h 有 关 . 一 阶 的 概念 是 当 h 一 0 时 , 误 
差 应 正比 于 h. Ñ h 一 0 时 ,c 是 移动 目标 , 因此 比例 常数 改变 了 ， 但 是 只 要 f" 连 
续 , 当 一 0 时 比例 常数 S'o) 趋 于 J'a), 这 就 使 称 公式 是 一 阶 的 是 恰当 的 . 


亮点 ”收敛 性 

两 点 前 向 差分 方法 的 误差 公式 -hf"(c)/2 的 好 处 是 什么 ? 我 们 在 试 
图 近似 f'(z), 因此 我 们 很 可 能 不 知道 f"). 有 两 种 回答 . 首先 , 在 查 对 
代码 和 软件 时 , 一 种 好 的 检验 是 把 它 运行 到 已 经 完全 解决 的 例子 上 . 这 里 
的 正确 答案 是 知道 的 , 因此 能 把 误差 与 预期 的 进行 比较 ， 在 这 种 情形 下 ， 
我 们 能 够 知道 f") 就 像 知道 fe) 一 样 ， 其 次 , 即使 我 们 不 能 求 出 整 
个 公式 的 值 ,了解 误 差 关于 h 的 尺度 常常 是 有 益 的 .公式 是 一 阶 这 个 事 
实意 味 着 当 h 减 半 时 误差 应 该 近似 地 减 半 (即使 我 们 无 法 计算 比例 常数 
f"(e)/2). 


例 5.1 MA=0.1, 用 两 点 前 向 差分 公式 近似 f(z) = 1/e Æ r = 2 处 的 导数 . 
对 两 点 前 向 差分 公式 (5.4) 求 值得 到 


f'(z) ~ Heth He) = 2122 x 9.2381. 


0.1 
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这 个 近似 值 与 导数 f(z) = -z-2 E r = 2 处 的 正确 值 的 差 就 是 误差 
—0.238 1 — (—0.250 0) = 0.011 9. 


把 这 个 结果 与 由 公式 hf’ (c)/2(c 在 2 和 2.1 之 间 ) 预测 的 误差 进行 比较 ， 由 于 
J" (2) = 2z-3, 误差 一 定 在 下 面 两 个 数 之 间 : 
(0.1)2-3 ~ 0.0125 和 (0.1)(2.1)-3 = 0.010 8. 
这 与 我 们 的 结果 是 一 致 的 . 然而 这 个 信息 通常 是 得 不 到 的 . 
用 更 高 级 的 策略 可 以 建立 二 阶 公式 . 根据 Taylor 定理 , WR f 是 三 asian 
微 , 那么 
h? 3 
Seth) = f(a) +hf'(2) + SF" @) + gf”), 


2 
e-h) = F(a) - hye) + Eye) - Èo). 


这 里 z 一 h < ca<z<cl<z+ 把 这 两 个 等 式 相 减 得 到 以 下 带 有 显 式 误 差 项 的 
ZAAR: 
eri “ite -h)_ k 


h? 
f(a) = iaf (a) ~ Taf 02). (5.5) 


ER es 
定理 5.1 (一 般 中 值 定理 ) if 是 区 间 [a,b] 上 的 连续 函数 , z1,… ,Zn 是 
(a, 6] 中 的 点 , FH a1,… ,an > 0, 那么 在 a,b 之 间 存 在 数 c 使 得 


(a, +++ + an)f(c) = aif (21) +--+ + anf (Tn). (5.6) 
证 设 这 nn 个 函数 值 中 最 小 的 一 个 是 f(Ti), 最 大 值 的 一 个 是 flr), 那么 
aif (Ti) +: + anf (zi) < ar f(a1) + +++ + anf (zn) < aif (zj) + +++ + anf (aj). 


即 


f(zi) < 


Qi1f (71) +++: + anf (Tn) < F(a;). 


a, +: +a; 
根据 中 值 定理 , 在 zi 和 zi 之 间 存 在 常数 c, 使 得 


Qf(z1) 十 … 十 anf(zn) 


f(9= ai +: + an 


因此 ,(5.6) 式 成 立 . 
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定理 5.1 告诉 我 们 : 可 以 把 (5.5) 中 的 最 后 两 项 结合 起 来 ,得 到 一 个 二 阶 公式 : 
三 点 中 心 差分 公式 
ck z 2 
he 6.7) 
这 里 z-h<c<z+h. 
5.2 取 及 =0.1 用 三 点 中 心 差分 公式 近似 f(e) = 在 二 2 处 的 导数 
用 三 点 中 心 差分 公式 求 值得 到 


f'(z) ~ —0.250 6. 


f+ 一 f(z- 有) _ gas 
2h 0.2 


误差 是 0.000 6, 比例 5.1 中 的 两 点 前 向 差分 公式 的 误差 有 了 改进 . < 


亮点 ”收敛 性 

当 h 0 时 , 两 点 和 三 点 近似 公式 都 收敛 于 导数 (尽管 以 不 同 的 速 
度 ). 这 两 个 公式 都 由 于 很 接近 的 数 相 减 从 而 破坏 了 浮 点 运算 的 基本 规则 . 
但 是 因为 求 导 是 一 种 固有 的 不 稳定 过 程 , 所 以 不 可 能 得 到 改善 . 对 于 非常 
小 的 值 , 含 入 误差 将 影响 计算 , 如 例 5.3 所 示 . 


用 同样 的 方法 可 以 得 到 高 阶 导数 的 近似 公式 , 例如 ,Taylor 展开 式 
1 hè on, h? am hs a) 
Heth) = fa) +A) t Sere) + Ryne) + Ese), 
1 hè ow Bay hs a) 
fc —h) = F(a) — hf’ @) + FH" @) — GIO) + aaf (ea). 
这 里 = -< o <2 < ou < 2+ hy 把 它们 相 加 消去 一 阶 导数 项 得 到 
4 
fle+h) + fæ- h) 242) = KS") + Oa) + EO). 


利用 定理 5.1 把 误差 项 结合 起 来 并 且 两 边 都 除 h? 就 得 到 以 下 公式 : 
二 阶 导数 的 三 点 中 心 差分 公式 


f(z—h) ~2f(2) + f(r+h) | 
h2 


h? 
f"(z) = 500 68) 


Xr- hA rth ZIRE < 成 立 . 
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5.1.2 BARE 


到 目前 为 止 , 本 章 的 所 有 公式 都 破坏 了 第 0 章 中 的 规则 , 即 建议 不 要 进行 很 接 
近 的 数 的 相 减 . 这 对 于 数值 微分 是 一 个 极 大 的 困难 , 但 是 它 在 本 质 上 是 不 可 能 避免 
的 . 为 了 把 问题 理解 得 更 清楚 , 考虑 以 下 例子 : 

例 5.3 求 f(z) =e 在 z=0 处 的 导数 的 近似 . 

两 点 公式 (5.4) 给 出 


rox EE, 659) 
三 点 公式 (6.7) 给 出 
ezth _ er—h 


fo = 一 于 -一 (5.10) 


对 z=0 及 增 量 的 很 广 的 范围 , 这 些 公式 的 结果 以 及 与 正确 的 导数 值 e? = 1 
比较 而 得 到 的 误差 在 表 5-1 中 给 出 . 


表 5-1 


公式 (5.9) 公式 (5.10) 
107} |1.051 709 180 756 48|—0.051 709 180 756 48|1.001 667 500 198 44] —0.001 667 500 198 44 
10~?]1.005 016 708 416 79|—0.005 016 708 416 79 |1.000 016 666 749 99|—0.000 016 666 749 99 
107% |1.000 500 166 708 38]~0.000 500 166 708 38 | 1.000 000 166 666 68|—0.000 000 166 666 68 
10~}1.000 050 001 667 14|—0.000 050 001 667 14 | 1.000 000 001 666 89] —0.000 000 001 666 89 
10-5] 1.000 005 000 006 96 |—0.000 005 000 006 96 1.000 000 000 012 10| -0.000 000 000 012 10 
10~] 1.000 000 499 962 18| -0.000 000 499 962 18 |0.999 999 999 973 24] 0.000 000 000 026 76 
10-7] 1.000 000 049 433 68| -0.000 000 049 433 68 |0.999 999 999 473 64] 0.000 000 000 526 36 
107 |0.999 999 993 922 53| 0.000 000 006 077 47|0.999 999 993 922 53| 0.000 000 006 077 47 
10—°| 1.000 000 082 740 37| 一 0.000 000 082 740 37|1.000 000 027 229 22|—0.000 000 027 229 22 


开始 时 候 , 当 h 减 小 时 误差 减 小 , 对 两 点 前 向 差分 公式 (5.4) 和 三 点 中 心 差分 
公式 (5.7) 分 别 得 到 很 接近 预期 的 误差 O(h) 和 O(h?). 但 是 , 注意 , 当 h 再 进一步 
减 小 时 近似 式 反 而 变 坏 了 . 
对 于 非常 小 的 h, 近似 式 失去 精度 的 原因 是 有 效 数字 的 损失 . 这 两 个 公式 都 有 
很 相近 数 相 减 , 损失 了 有 效 数字 , 而 且 由 于 被 很 小 的 数 相 除 而 扩大 了 这 种 影响 , 从 
TOY. < 
为 了 更 好 地 理解 数值 微分 公式 对 损失 有 效 数字 的 敏感 性 , 我 们 详细 地 分 析 三 
点 中 心 差分 公式 . 用 f(z +h) 表示 输入 f(z +h) 的 浮 点 形式 , f(z +h) 与 正确 值 
f(z +h) 相差 一 个 机 器 < 阶 的 数量 . 对 于 目前 的 讨论 , 我 们 将 假定 函数 值 是 一 阶 ， 
所 以 相对 误差 和 绝对 误差 大 约 相等 . 
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BIW fæ +h) = fle+h)+er, f(z—h) = f(z — h) +2, 这 里 |eil, |e2| ~ emacs 
准确 的 1(z) 和 三 点 中 心 差分 公式 (5.7) 的 机 器 形式 之 差 是 


lorga- fogasra) -Ete 


=f"(2)- f(z+h)+er e+e) 


A (ro ft fe ») +258 


二 (f(z) 准确 — f(D) ase) + 误差 含 入 ， 


我 们 可 以 认为 全 体 误 差 是 截断 误差 (准确 导数 和 准确 近似 公式 之 间 的 差 以 及 合 入 
误差 之 和 ), 它 度量 了 计算 机 实现 的 公式 损失 有 效 数字 的 大 小 ， 舍 入 误差 的 绝对 值 
满足 
E2— E1 < 2€mach — Emach 

2h | 2h h ’ 


这 里 emach 表示 机 器 e. 因此 f'(z) 机 器 近似 的 误差 的 绝对 值 的 上 界 是 


2 
Eh = yoy + (6.11) 


这 里 z 一 h < c < z+h. 以 前 我 们 仅 考 虑 了 误差 的 第 一 项 , 即 数学 上 的 误差 . 表 5-1 
迫使 我 们 还 要 考虑 有 效 数字 的 损失 . 
画 出 如 图 5-1 所 示 的 函数 E) 是 有 用 的 . Eh) 的 最 小 值 出 现在 方程 


Emach , M 
mot gt (5.12) 


的 解 处 , 这 里 我 们 已 用 M 来 近似 |f” (c)| ~ |f” (2). 解 (5.12) 得 到 


0= E'(h) = 


h = (3Emach/M)È. 


它 对 增 量 h 给 出 了 最 小 的 整体 误差 , 包括 了 计算 机 舍 入 . 在 双 精 度 制 中 , 它 近似 于 
eb ~ 1075, 这 与 表 5-1 相 一 致 
上 面 得 到 的 主要 结论 是 : 当 h 减 小 直到 成 为 机 器 < 的 立方 根 时 , 三 点 差分 公 
式 在 精度 上 将 得 到 改进 ; 而 当 h 小 于 机 器 < 的 立方 根 时 , 误差 可 能 再 次 开始 增 大 . 
对 于 其 他 公式 , 关于 合 入 误差 的 分 析 能 够 得 到 类 似 的 结果 . 习题 16 要 求 读者 
对 两 点 前 向 差分 公式 分 析 合 入 误差 的 影响 . 
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E 


Go 由 


图 5-1 含 入 误差 对 数值 微分 的 影响 , 对 小 的 h, 误差 是 以 会 入 误差 为 主 


5.1.3 IME 
假设 我 们 提出 一 个 n 阶 公式 F(n) 来 近似 给 定 的 量 Q. 这 里 阶 的 意思 是 
Q~ F(h)+ Kh", 
这 里 K 在 我 们 感 兴趣 的 h 范围 内 大 致 是 一 个 常数 . 相关 的 例子 是 
f'(z) = feth -fez + Lla, (5.13) 


这 里 我 们 已 经 强调 未 知 点 cn 在 > 和 z 十 h 之 间 , 但 与 h 有 关 . 尽管 ch 不 是 常数 ， 
但 如 果 函 数 适当 光滑 , 而 且 h RAK, 那么 误差 系数 f”(cn)/6 的 值 不 应 该 离 
f(z)/6 AB. 

在 类 似 这 种 情形 中 , 可 以 用 一 些 代数 知识 使 一 个 n 阶 的 公式 提高 一 阶 . 因为 我 
们 知道 公式 FF(h) 的 阶 是 n, 所 以 如 果 取 $ ARE h 来 使 用 公式 , 那么 误差 应 该 从 he” 
的 常数 倍 减 小 到 (Hr 的 常数 倍 , 或 者 按 因子 2" 缩小 . 换言之 , 我 们 期 望 


a-r ($) ~- FW). (6.4) 


我 们 正 是 依赖 K 大 致 是 常数 的 假设 . 注意 到 从 (5.14) 容易 解 出 问题 中 的 量 Q, 它 
给 出 以 下 公式 : 
n 阶 公式 的 外 推 


Qe ZED = Fh) 


st (5.15) 


这 就 是 对 F(h) 的 外 推 (extrapolation) AR. 外 推 有 时 也 称 为 Richardson 外 
推 , 一 般 对 Q 给 出 比 F(h) 更 高 阶 的 近似 . 为 了 要 明白 原因 , 假设 能 把 n 阶 公式 
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Falh) 写成 
Q=F(h) + Kh” + O(h”™*!). 
然后 把 h 减 半 得 到 
Q=F, (3) +K + 0m"), 
而 且 , 外 推 形式 ,+1(h) 将 满足 
_2°F (4) — Falh) 


Fn+1(h) amI 
_ 2"(Q-— KF — O(h”+)) — (Q - Kh” — O(h"+!)) 
z 2—1 
-0+ EEKE LOW) L Q 4 oqma), 


因此 , Fap (h) 至 少 是 近似 量 Q 的 n+1 阶 公式 . 

例 5.4 ”对 公式 (5.13) 用 外 推 . 

我 们 从 对 导数 a) 的 二 阶 中 心 差分 公式 Folh) 开始 . 外 推 公式 (5.15) 给 出 
Fe) 的 一 个 新 的 公式 : 


rao) PAB 
_[,f@+$)-f@-$) fe +h)- f(e—h) 
= 4 |B (5.16) 
_ (eh) ~8f(e— $) + 8f(e + h) - fe +h) 
6h j 


这 是 一 个 五 点 中 心 差分 公式 . 前 面 的 论证 保证 这 个 公式 至 少 有 3 阶 , 但 是 由 于 3 阶 
误差 项 抵消 了 , 它 结果 就 有 4 阶 . 事实 上 , 由 于 经 过 检查 , Filh) = Fa( 一 h), WF h 
的 误差 与 对 于 —h 的 误差 相同 . 因此 误差 项 只 可 能 是 hOB. < 
例 5.5 对 二 阶 导数 公式 (5.8) 用 外 推 . 
这 个 方法 也 是 二 阶 的 , 所 以 对 n = 2 使 用 外 推 公式 (5.15). 外 推 公式 是 
22F2($) — Folh) 


Fy(z)= 221 


_ | f@+$)-2F@ +f@-$) _ fle +h)- 2f) + f- h) 
=|4 s /3 


12/4 


_ —f(e—h) + 16f(x— $) - 30f (x) + 16f(e + $) — f(@ +h) 
E 3h? À 
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这 种 近似 二 阶 导数 的 新 方法 是 4 阶 的 , 其 原因 同上 . < 
5.1.4 ”符号 微分 法 和 符号 积分 法 


MATLAB 符 号 工具 箱包 含 获得 符号 形式 的 函数 的 符号 导数 的 指令 . 以 下 指令 是 
直观 的 : 


>> syms x; 
>> f=sin(3*x); 
>> fl=diff(f) 
fl= 


3*cos (3*x) 


>> 


3 阶 导 数 也 容易 求 得 : 


>>f3=Giff(f,3) 
£3= 


-27*cos (3*x) 


积分 使 用 MATLAB 符 号 指令 int: 


>>syms x 
>>f=sin(x) 


f= 
sin(x) 

>>int (f) 

ans= 

-cos (x) 

>>int (£,0,pi) 
ans= 


2 


对 更 复杂 的 函数 ,用 MATLAB 指 令 pretty 检 验 最 后 所 得 到 的 答案 , 并 且 用 指 
令 simple 把 它 简化 , 它们 都 大 有 帮助 , 如 以 下 的 代码 : 


>>syms x 


>>fssin(x)*7 
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f= 

sin(x)*7 

>>int (f) 

ans= 

-1/7*sin(x) *6*cos (x) -6/35*sin(x) *4*cos (x) -8/35*sin (x) *2*cos (x) 
-16/35*cos (x) 

>>pretty (simple (int (f))) 


3 5 7 
-cos(x) + cos(x) - 3/5 cos(x) + 1/7 cos(x) 


当然 , 对 于 某 些 被 积 函数 , 不 存在 用 初等 函数 表达 的 不 定 积分 . 用 函数 f(z) = 


ene 试验 , 可 以 看 到 MATLAB 放 弃 了 . 像 在 这 种 情形 中 一 样 , 除了 5.2 节 中 的 数值 
方法 外 , 没有 其 他 可 能 . 


习题 5.1 


1. 


2. 
3. 


4. 
。 用 对 二 阶 导数 的 三 点 中 心 差分 公式 来 近似 1”(1), 这 里 f(z) = 2. (a) h = 0.1; 


用 两 点 前 向 差分 公式 近似 了 (1)， 并 求 出 近似 误差 , 这 里 f(z) = Inez. (a) h = 0.1; 
(b) h = 0.01 (c) h = 0.001. 

用 三 点 中 心 差分 公式 近似 f (0), 这 里 f(x) =e". (a) h=0.1; (b) h=0.01; (c) h=0.001. 
用 两 点 前 向 差分 公式 近似 f'(§), 这 里 f(z) = sinz, 并 求 出 近似 误差 . 还 要 求 出 由 误差 项 
所 蕴含 的 界 , 并 证 明 近 似 误差 位 于 上 下 界 之 间 . (a) h= 0.1; (b) h = 0.01; (c) h = 0.001. 
用 三 点 中 心 差分 公式 执行 习题 3 中 的 步骤 . 


(b) h = 0.01; (c) h = 0.001. 求 出 近似 误差 . 


.用 对 二 阶 导数 的 三 点 中 心 差分 公式 来 近似 f”(0), 这 里 f(z) = cose. (a) h = 0.1; 


(b) h = 0.01; (c) h = 0.001. 求 出 近似 误差 . 


.建立 近似 f'(a) 的 包括 误差 项 的 两 点 后 向 差分 公式 . 

。 求 近似 公式 f(a) = HEH- 的 误差 项 和 阶 . 

,通过 对 两 点 前 向 差分 公式 进行 外 推 , 求 近似 了 (z) 的 一 种 二 阶 公式 . 

， (a) 对 于 f(z) = 2, 计算 两 点 前 向 差分 公式 对 f(z) 的 近似 , 这 里 z 和 h 任意 ; 


(b) 减 去 准确 答案 即 得 到 误差 , 证 明 它 近似 地 正比 于 h; 
(c) 重 做 (a) 和 (b), 改 用 三 点 中 心 差分 公式 . 现在 误差 应 该 正比 于 h’. 


.建立 仅 用 数据 f(z —h). f(x) 及 f(z + 3h) 的 二 阶 方法 来 近似 f(z), 求 出 误差 项 . 
(a) 对 习题 11 中 建立 的 公式 进行 外 推 ; 


(b) 通过 近似 f(E) 来 说 明 新 公式 的 阶 , 这 里 f(z) = sins, Rh=0.1 Rh=0.01. 


。 建立 仅 用 数据 f(z- h) f(x) 及 f(z + 3h) 的 一 阶 方法 来 近似 f(x), 求 出 误差 项 . 
。 (a) 对 习题 13 中 建立 的 公式 进行 外 推 得 到 f”(z) 的 一 个 二 阶 公式 ; 


(b) 通过 近似 f”(0) 来 说 明 新 公式 的 阶 , 这 里 f(x) = coss, W h =0.1 Rh=0.01. 


。 建 立 仅 用 数据 f(z 一 2h)、f(z) 及 f(z + 3h) 的 二 阶 方法 来 近似 f(x), 求 出 误差 项 . 
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16. R E(h) 即 一 阶 导数 的 两 点 前 向 差分 公式 的 机 器 近似 的 误差 上 界 , 效仿 前 面 (5.11) 的 推 
理 . 求 出 对 应 Elh) 最 小 值 的 h. 
17. 证 明 3 阶 导数 的 二 阶 公式 : 


pa) = A +e- DE 2f(e+h) + f+), oa), 


18. 证 明 3 阶 导数 的 二 阶 公式 : 
jz) = £62 = 3H) -6f(z = 2h) + laf te =H) = 10F(2) + 3f(@ +h) ,op2). 
19. 证 明 4 阶 导数 的 二 阶 公式 : 
7 (q) LEA = Af (@ — h) + sro) =4f(e +h) +SEE ,one). 
这 个 公式 用 于 实例 检验 2. 
20. 这 个 习题 证 明了 实例 检验 2 中 的 方程 (2.42) 及 (2.43). 设 f(z) 是 5 次 连续 可 微 函数 
(a) 证 明 如 果 f(z) = f'(c) = 0, 那么 


Jo = Eth- sies 2h) + $f(z+3h) | Sjo (ons 


(b) 证 明 如 果 f”(z) = f” (2) = 0, MA 


12f(w — 3h) — 4f (z — 2h) + 12f(z — h) _ 18 
25h4 25 


fO@= LOOK; 


(c) 证 明 如 果 f(x) = f" (z) =0, BA 
_ 25 f(a — 4h) — 93f(z — 3h) + 111f(z — 2h) — 43f (z — h) , 217 
O= he * 0 
21. 利用 Taylor 展开 式 证 明 (5.16) 是 一 个 4 阶 公式 . 
22. f'(c) 的 两 点 前 向 差分 公式 中 的 误差 项 可 以 写成 另 一 种 方式 . 证 明 另 一 种 结果 


f(o)h. 


f ， 
F(a) = EHA ipa- Eo. 


这 里 c 在 z Gath 之 间 . 我 们 在 第 8 章 推导 Crank-Nicolson 方法 时 将 用 到 这 种 误差 
形式 . 

23. 研究 外 推 这 个 名 称 的 由 来 . 假设 F(h) 是 近似 一 个 量 Q 的 n 阶 公式 , 考虑 zy 平面 中 的 
点 (Kh?, F(h)) 及 (K(h/2)", F(h/2)), 这 里 的 误差 画 在 z 轴 上 而 公式 输出 在 y 轴 上 , 求 
通过 这 两 点 的 直线 (是 误差 与 FF 之 间 关 系 的 最 佳 函数 近似 ). 当 你 把 误差 外 推 为 0 时 , 这 
条 直线 在 y 轴 上 的 截 距 就 是 公式 的 值 . 证 明 这 个 外 推 值 由 公式 (5.15) 给 出 . 


计算 机 问题 5.1 


1. 对 f0) 的 三 点 中 心 差分 公式 的 误差 作 一 个 表格 , 这 里 f(z) = sinz - coss, Mh = 
10-*,--- 107", 如 同 5.1.2 节 中 的 表格 . 绘 出 结果 图 , 最 小 误差 与 理论 预期 一 致 吗 ? 
2. 如 在 计算 机 问题 1 中 ,f(z) = 271, Ht f) 的 三 点 中 心 差分 公式 的 误差 作 表 并 绘图 . 
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名 


如 在 计算 机 问题 1 中 , f(z) = sinz 一 cosz, 对 f'(0) 的 两 点 前 向 差分 公式 的 误差 作 表 并 
绘图 . 把 你 的 答案 与 习题 16 中 建立 的 理论 作 比较 . 

.如 在 计算 机 问题 3 中 , f(z) = z ,近似 f) 作 表 并 绘图 . 把 你 的 答案 与 习题 16 中 建 
立 的 理论 进行 比较 . 

， 如 在 计算 机 问题 1 中 对 f(z) = cosz 近似 f”(0), 用 三 点 中 心 差分 公式 , 绘 出 图 来 . 误差 
的 最 小 值 在 何 处 出 现 ? 用 机 器 < 来 表示 . 


A 


a 


5.2 ”数值 积分 的 Newton-Cotes 公式 


定 积分 的 数值 计算 依赖 于 许多 我 们 已 经 见 过 的 相同 工具 . 在 第 3 章 和 第 4 章 ， 
我 们 利用 插值 和 最 小 二 乘 模型 建立 关于 一 组 数据 点 的 函数 近似 的 方法 . 我 们 将 讨论 
基于 这 两 种 思想 的 数值 积分 (numerical integration) 或 求 积分 (quadrature) 的 方法 . 

例如 , 给 定 一 个 定义 在 区 间 [a,b] 上 的 函数 f, 我 们 可 以 经 过 f(z) 的 某 些 点 作 
出 其 插值 多 项 式 ， 因 为 多 项 式 的 定 积分 计算 简单 , 所 以 可 以 把 这 种 计算 用 于 近似 
f(a) 的 积分 . 这 就 是 Newton-Cotes WEWER. 另外 , 我 们 还 可 以 求 在 最 小 二 
乘 意义 下 对 函数 近似 得 好 的 低 次 多 项 式 , 并 且 用 它 的 积分 作为 近似 积分 , 这 种 方法 
称 为 Gauss RR. 本 章 将 讨论 这 两 种 方法 . 

为 了 建立 Newton-Cotes AX, 我 们 需要 3 种 简单 的 定 积分 , 如 图 5-2 所 示 . 


©) 
图 5-2 3 种 简单 定 积分 (5.17). (5.18) 及 (6.19): 有 效 面积 是 (a) $, 
4h h 
(b) 5 OF 
图 5-2a 表示 在 插值 数据 点 (0,0) 和 (h,1) 的 直线 之 下 的 面积 . 其 面积 是 高 为 
1、 底 为 h 的 三 角形 的 面积 , 所 以 这 个 面积 是 


Va h 
| dz = 5: (5.17) 
图 5-2b 表示 在 插值 数据 点 (—h, 0). (0,1) 及 (h,0) 的 抛物 线 之 下 的 面积 , 它 有 面积 


ha d 4 
es P@)dz =s- £z = Sh. (6.18) 
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图 5-2c 表示 在 r 轴 与 插值 数据 点 (—h, 1). (0,0) 及 (h,0) 的 抛物 线 之 间 的 面积 , A 
有 有 效 面积 


ig 1 
| P(z)dz = 5h. (5.19) 
i 3 
5.2.1 ”梯形 法 则 
我 们 从 基于 插值 的 数值 积分 的 最 简 应 用 开始 ， 设 f(z) 是 定义 在 区 间 (x0, 01] 
上 的 有 连续 二 阶 导数 的 函数 , 如 图 5-3a 所 示 . 用 yo = f(zo) 及 yi = f(z1) 表示 相 
应 的 函数 值 . SRA (xo, yo) 及 (21,1) 的 一 次 插值 多 项 式 Pi(z). 利用 Lagrange 
公式 , 求 出 带 有 误差 项 的 插值 多 项 式 


_ zz 2Z 一 Z0 ，(Z 一 zol)(z 一 zl) pn 
fle) = wz Wt 2! f 


(cz) = P(x) + E(z). 
可 以 证 明 “未 知 点 ”cz 连续 依赖 于 z. 


(a) (b) 


图 53 ”基于 插值 的 Newton-Cotes AR: (a) 梯形 法 则 用 插值 了 
(ao, f(zo)) 与 (zi f(z1)) 的 直线 代替 函数 ; (b) Simpson 法 则 
使 用 了 在 三 点 (zo, f(z0))、(z1, f(z1)) 及 (z2,f(z2)) 的 抛物 线 
插值 函数 


上 式 两 边 在 区 间 [zo, zl] 积分 得 
厂 f(z)dz = P(x)dz + E E(z)dz. 
计算 第 一 个 积分 给 出 


ji 1 一 2 71 g — To h, „h _ ,yty 
P(z)dz = | dz 十 | dz = yrtys = h——, (5.20 
li (x) Yo zo To~ zı yı zo T1 — Zo wz tuz 2 ( ) 


这 里 已 经 定义 h = zl - zo 是 积分 区 间 的 长 度 , 并 且 利用 (5.17) 来 计算 积分 . 例如 
在 第 一 个 积分 中 作 代 换 w = -z+ zl 给 出 


T: 0 h 
1 2 一 21 下 wh 
er ee = [paw = 5 
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而 第 二 个 积分 是 


zi I— Zo h wy h 
E Z1 一 ne = Í, Rw = 2 
公式 (5.20) 计算 了 一 个 梯形 的 面积 , 即 给 出 了 法 则 本 身 的 名 称 . 
误差 项 是 


[ zwar= zl. -zoe -se = FO f" -sno -sd 
-LT wer), 
这 里 我 们 用 了 定理 0.9( 积 分 中 信 定 理 ) 我 们 证 明了 : 


梯形 法 则 ? j z 
| roa = F004) - BP") (6.21) 
RE c 在 zo 与 zl 之 间 . 


5.2.2 Simpson 法 则 

图 5-3b 说 明了 类 似 于 梯形 法 则 的 Simpson 法 则 , 只 不 过 是 用 抛物 线 代 替 了 一 
次 插值 多 项 式 ， 和 前 面 一 样 , 我 们 可 以 把 被 积 函数 写成 插值 抛物 线 与 插值 误差 之 
Al: 


(z — 21)(x — 12) F: (z — xo)( — z2) 
(zo —z1)(z0 — a2) "(ey — zo)(z1 — z2) 


f(z) =o 


(z-ao)(e—1)_ | (e~20)(e que = 22) pm(c,) 


tH (x2 一 zo)(zaz — 21) 
=P(2) + E(z). 
积分 给 出 = 2 os 
[ f(a)dz = | Plz)dz +| E(z)dz, 
这 里 


Ta __ [P (z 一 zi)(z 一 za) 72 (x — 20)(z — z2) 
小 Podran ik (zo — = = za) oe 上 (zl 一 A = = ce 
za (x — %)(x& — 21) 
上 人 (z2 一 Zoj(z2 一 a) 


人 
一 3 ngs ny: 
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REH h= za 一 z1 = zl — zo, 而 且 用 (5.18) 求 中 间 的 积分 , 而 用 (5.19) 求 第 一 
个 和 第 三 个 积分 . 计算 误差 项 的 积分 (证 明 省 略 ) 为 


上 E(z)dz = -E FH (c). 


只 要 fO 存在 而 且 连 续 , 上 式 就 对 区 间 [zo, zz] 中 的 某 个 c 成 立 . 从 而 得 到 Simpson 
法 则 . 
Simpson 法 则 
2 4 h hë (4) 
[fa = Fev + ty +u) - 27900. (6.22) 
这 里 及 = za — 11 = 2) — 20, c FE zo Mz. ZA. 
例 5.6 ”用 梯形 法 则 和 Simpson 法 则 近似 


2 
| Inzdz, 
1 


并 求 出 你 的 近似 误差 的 上 界 . 
用 梯形 法 则 计算 


(In1 + In2) = 2? ~ 0.346 6. 


a h 1 
| Inzdz ~ 3(yo +") = 5 


梯形 法 则 的 误差 是 -h3 f” (c)/12, 这 里 1 < c < 2. 因为 f(z) = -1/z2, 误差 的 值 最 
大 是 
13 1 
pa < jg © 0.083 4. 


换言之 , 梯形 法 则 告诉 我 们 
maar = 0.346 6 + 0.083 4. 
1 
这 个 积分 可 以 用 分 部 积分 精确 地 计算 出 来 : 


2 2 
| Inzdz = smal- | dz =2In2—1ln1— 1 æ% 0.386 294. (5.23) 
1 1 


梯形 法 则 的 近似 积分 值 和 误差 上 界 与 这 一 结果 相 一 致 . 
用 Simpson 法 则 计算 得 到 
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[maa ~ B (yo + dy + yp) = Ln1+4In3 +In2) ~ 0.385 8. 
1 3 3 2 
Simpson YER ARE —n5 f (c)/90, 这 里 1 < c < 2. 因为 f(z) = -6/z4, 其 误 
差 最 大 是 
6(0.5)5 _ 6(0.5) _ 1 
90c4 <- = a0 © 9-002 1. 


于 是 , Simpson 法 则 告诉 我 们 


2 
| lnzdz = 0.385 8 + 0.002 1, 
1 


它 又 与 准确 值 相 一 致 , 而 且 比 梯形 法 则 近似 积分 值 更 精确 . < 

对 像 梯形 法 则 或 者 Simpson 法 则 这 样 的 数值 积分 法 则 进行 比较 的 一 种 方法 是 
通过 比较 误差 项 . 这 一 信息 是 简单 地 通过 以 下 定义 传达 的 : 

定义 5.2 ” 若 一 种 数值 积分 方法 用 于 所 有 上 次 或 小 于 有 次 的 多 项 式 的 积分 都 
是 精确 的 , ABA IRAP KH AR k 就 是 这 种 数值 积分 方法 的 精度 (degree of preci- 
sion). 

例如 , 梯形 法 则 的 误差 项 -h3f"(c)/12 表明 , WR f(z) 是 一 次 或 小 于 一 次 的 
多 项 式 , 那么 误差 将 是 零 , 因此 这 种 多 项 式 将 被 精确 地 积分 . 因此 梯形 法 则 的 精度 
是 1. 这 明显 来 自 几何 直观 , 因为 一 条 直线 之 下 的 面积 用 梯形 法 则 近似 是 精确 的 . 

不 太 明显 的 是 , Simpson 法 则 的 精度 是 3, 但 是 这 恰 是 (5.22) 中 的 误差 项 所 表 
明 的 . 这 个 意外 结果 的 几何 基础 是 这 样 的 事实 : 一 条 抛物 线 与 一 条 3 次 曲线 相交 于 
3 个 等 距 点 , 那么 这 条 抛物 线 与 这 条 3 次 曲线 在 这 个 区 间 有 相同 的 积分 (习题 15). 

例 5.7 求 称 为 Simpson 3/8 法 则 的 3 次 Newton-Cotes 公式 的 精度 : 


ri 3h 
| f(z)dz ~ (yo + 3v1 + 3y2 + ys). 


只 要 连续 试验 单项 式 就 可 以 了 . 我 们 将 把 细节 留 给 读者 . 例如 , 当 f(z) = z? 
时 , 检查 恒等式 
(x + 3h)3 — 28 
E ee 
后 者 即 为 z? 在 [zx,z + 3h] 上 的 精确 积分 . 对 1, 2,2? za 等 式 依然 成 立 , 但 是 对 x 
并 不 成 立 . 因此 该 法 则 的 精度 是 3. 

梯形 法 则 及 Simpson 法 则 是 “ 闭 "Newton-Cotes 公式 的 例子 , 因为 SNART 
被 积 函数 在 区 间 端 点 的 求 值 . 开 Newton-Cotes 公式 对 不 可 能 的 情形 (例如 , 当 我 们 
近似 反常 积分 时 ) 是 有 用 的 . 5.2.4 节 将 讨论 开 公 式 . 


a + 3(x +h)? + 3(x + 2h)? + (£ + 3h)?] = 
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5.2.3 ”复合 Newton-Cotes 公式 


梯形 法 则 与 Simpson 法 则 限制 在 单个 区 间 上 运算 . 当然 , 因为 定 积分 在 各 个 子 
区 间 上 具有 可 加 性 , 所 以 可 以 通过 把 区 间 分 成 几 个 子 区 间 进 行 积分 , 在 每 一 部 分 上 
分 别 应 用 这 些 法 则 , 然后 全 部 加 起 来 . 这 种 策略 叫做 复合 数值 积分 . 

复合 梯形 法 则 就 是 简单 地 对 在 相 邻 子 区 间或 “ 段 ”上 的 梯形 法 则 近似 进行 求 


A. 
要 近似 计算 
| tae, 
考虑 沿 着 z 轴 的 等 距 网 格 点 
a = To < T1 < T3 < +++ < Im-2 < Im-1 < Im =b 


这 里 h= ripi 一 zi 对 每 一 个 i 成 立 , 如 图 5-4 所 示 . 在 每 一 个 子 区 间作 出 带 有 误差 
项 的 近似 : 


% Tam 
(b) 
图 5-4 Newton-Cotes HAAR: (a) 复合 梯形 法 则 把 在 m 个 相 邻 子 区 
间 上 的 梯形 法 则 公式 相 加 ; (b) 复合 Simpson 法 则 与 Simpson 
法 则 做 法 相同 


Ti+ 3 
[E fode = FU) + Seu) - BI": 


这 里 假设 f 是 连续 的 对 所 有 的 子 区 间 相 加 ERENT El LB) 
得 到 b h m-1 m-1 h3 

| f(r)dr =53 We +f(0)+2D a|- YO go 

ba 0 


i=1 izi 


按照 定理 5.1, 对 某 个 a。< c < b, 误差 项 可 以 写成 


3 mm 一 1 3 
EY re = Sms". 
所 
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因为 mh = (b-a), 所 以 误差 项 是 (5 一 a)h?2f"(c)/12. 总 结 一 下 , WR f" E [a,b] 上 
连续 , 那么 以 下 结论 成 立 : 
复合 梯形 法 则 


[seas = = 了 z(a +m +2 S `n) - tele i) (5.24) 


这 里 及 = (b — a)/m, c Æ a A b Zi). 
复合 Simpson 法 则 遵照 相同 的 策略 . 考虑 > 轴 上 的 等 距 网 格 点 
a = To < T1 < T3 < < Lam—2 < Lam-1 < Lam =b 


XE h = riya 对 每 个 ;成 立 . 在 每 一 个 长 度 2h 的 区 间 [ea z2442](i = 0,… m- 
1) 上 执行 Simpson 方法 . 换言之, BRAM f(z) 在 每 个 子 区间 上 被 rat szi 及 
Taiyo RAT TE, 对 它 进行 积分 并 求 和 . 在 子 区 间 上 带 有 误差 项 
的 近似 是 


[ET roae = hiraad + 44 eves) + feal- FFM), 
这 一 次 , OE AN cy AEREA. EAT LAIN, 得 到 
[soya = 4 [1 +10) +45 fens) +29 ten) - E Be) 
按照 定理 5.1, 对 某 个 a < c < b, 可 以 把 误差 项 写成 
Fe Ae) = Gems. 


因为 m. 2h = (b—a), 所 以 误差 项 是 (b— a)h* f (c)/180. 假设 fF 在 [a,b] 上 连 
续 , 以 下 结论 成 立 : 
复合 Simpson 法 则 


m m-1 : 
[[ seas = Bt vam +43 a1 +25 va) - COO, (525) 
a i=1 i=1 


XE c HE a 和 5 之 间 . 
例 5.8 ”用 复合 梯形 法 则 和 复合 Simpson 法 则 对 


2 
| Inzdz 
1 
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执行 4 段 近似 . 
对 于 [1, 2] 上 的 复合 梯形 法 则 , 4 段 意味 着 h= 3. 近似 式 是 


i 25n -1 fint-+in2+2 (in 8 +n 84 7) ~0.383 7 
[os ~g (w+ + Zu = 于 ml+ 了 + 了 +in 了 用 s0.3837, 


其 误差 最 多 是 


(一 a i 1 _1 
FO = Bas (16)(12)(12) 192 


4 段 的 Simpson 法 则 取 h = $. 近似 式 是 


2 
| Inada $ l (wint Em +23) 


1 i=l 


= 0.005 2. 


9 13 5 6 4 
=a L [Intima +4 (a Stin tin +n 3 $) +2 (inf+m$-+i07)] 


= 0.386 292. 


这 与 从 (5.23) 得 到 的 正确 值 0.386 294 相 比 , 有 5 位 小 数 是 一 致 的 . 事实 上 , 误差 不 
可 能 大 于 


bos 6 < 6 


(4) = = 0. ， 
tioo] 180 or < grx 180 x 17 ~ 0-000 008 “ 


例 5.9 ”使 用 复合 Simpson 法 则 求 f sin? zdz 的 近似 值 , 为 了 得 到 6 位 正确 
o 


小 数 , 求 出 必需 的 段 数 m. 
我 们 要 求 误差 满足 


oe I|f YW(0)| < 0.5 x 1078. 


因为 sin?z 的 4 阶 导数 是 —8 cos 2x, 我 们 需要 


mht i% 
T00510 p 


或 者 h < 0.043 5, 因此 m =ceil(x/(2h)) = 37 段 就 足够 了 . < 
5.2.4 Ff Newton-Cotes 方法 


像 梯 形 法 则 和 Simpson 法 则 这 些 所谓 闭 Newton-Cotes 方法 需要 积分 区 间 端 点 
的 输入 值 . 在 区 间 端 点 有 可 去 奇 点 的 某 些 被 积 函数 用 开 Newton-Cotes 方法 处 理 较 
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为 容易 ,这 种 方法 不 用 端点 的 值 . 以 下 法 则 适用 于 二 阶 导数 在 [0,0] 上 连续 的 函数 
f$: 
oh iF 

| separ = angu) Eo. (5.26) 


XE h = (zl — 20)/2,w ÆFA zo +h, c HE xo 和 zl 之 间 . 


中 点 法 则 对 减 小 需要 求 值 的 函数 的 个 数 也 是 有 用 的 . 与 梯形 法 则 相 比 , 相同 阶 
的 闭 Newton-Cotes 方法 需要 求 一 个 函数 的 值 而 不 是 两 个 , 代价 是 误差 项 是 原来 的 
4 ÈK. 

(5.26) 的 证 明 与 梯形 法 则 的 推导 相同 . 设 h = (zl — zo)/2. f(z) 关于 区 间 中 点 
w = to +h 的 一 阶 Taylor 展开 式 是 


F(a) = fw) + E- Fw) + F(E — w)?” (a), 
这 里 的 ce 与 = 有 关 , 并 且 在 zo 和 ay 之 间 . 两 边 积分 得 
[E roa en) w f -udeg | ee- was 


zo 


=2hf(w)+0+ £0 ef (c — w)?dz 


=2hf(w) + E po, 
这 里 zo < c < zl. Lene TE Te 把 二 阶 导数 所 到 积分 号 
外 . 这 就 完成 了 (5.26) 的 推导 . 
复合 形式 的 证 明 留 给 读者 (习题 12). 
复合 中 点 法 则 


(b= a)h? ae 


f(z)dr = 2h flw) + O, (6.27) 
s i=l 


RE h = (6 一 a)/(2m),c Æ a A b Z. wi 是 [a,b] HH m 个 相等 子 区 间 的 
中 点 . 
另 一 个 有 用 的 开 Newton-Cotes 法 则 是 
i “ pe)de = Ë T effa) - (ea) + 2f(@s)) + ÉE MIE wo, (5.28) 


这 里 及 = (z4 — zo)/4,zl = To + h, £2 = £o + 2h, zz = To + 3h, 并 且 To < c < z4. J 
题 9 和 习题 11 要 求 你 确定 它 的 精度 并 且 把 它 推广 为 复合 法 则 . 
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i 
例 5.10 Wm = 10 段 区 间 , 用 复合 中 点 法 则 近似 | he 


o z 
首先 , 注意 , 车 在 z = 0 处 不 经 过 特殊 的 处 理 , 就 不 能 对 这 个 问题 直接 用 闭 方 
法 . 可 以 直接 应 用 中 点 方法 . 中 点 是 0.05,0.15,… ,0.95, 所 以 由 复合 中 点 法 则 得 


10 
[ f(s)dz ~ 2(0.05) X” f(mi) ~ 0.946 2. 
0 i=1 
精确 到 8 位 的 正确 答案 是 0.946 083 07. < 
习题 5.2 
1. 取 mm = 1,2, 4, 用 复合 梯形 法 则 来 近似 以 下 积分 , 并 通过 与 准确 值 比较 来 计算 误差 . 
(a) f zdz; (b) k coszdz; (c) [ erdz. 
0 0 0 


2. 取 mm = 1,2, 4, 用 复合 中 点 法 则 来 近似 习题 1 中 的 积分 , 并 且 报 告 误 差 . 
+ Xm = 1,2, 4, 用 复合 Simpson 法 则 来 近似 习题 1 中 的 积分 , 并 且 报告 误差 . 
4. 取 m = 1,2, 4, 用 复合 Simpson 法 则 来 近似 以 下 积分 , 并 且 报告 误差 . 


(a) | zerdz; (b) Í E (c) -erar 


g 


5. 对 [ ade 应 用 Simpson 法 则 近似 公式 , 并 且 证 明 近 似 误差 与 (5.22) 的 误差 项 相 匹配 . 


0 
6. 对 Newton 均 差 插值 多 项 式 进行 积分 以 证 明 公式 (a) (5.18); (b) (5.19). 
T. 对 于 f(z)dz, 求 以 下 近似 的 精度 ， 

i 
(a) f1) + f(-1); (b) SC + f(0) + f(D]; (©) f(-1/V3) + F0/V3). 

8. 求 中 点 法 则 的 精度 . 
9. 求 (5.28) 的 精度 . 
10. 求 cu ca, cs 使 法 则 


Í f(z)dz ~ c1 f(0) + caf (0.5) + csf (1) 


的 精度 大 于 1 (提示 : 代入 f(z) = 1,2, 2?) , 你 能 发 现 得 到 这 种 结果 的 方法 吗 ? 
11， 建 立 带 有 误差 项 的 法 则 (5.28) 的 复合 形式 . 
12. 证 明 复合 中 点 法 则 (5.27). 
13. 求 4 次 Newton-Cotes 法 则 (通常 称 为 Boole 法 则 ) 


z4 2h 
| f(s)dz m FE (Tyo + 32y + 12ya + 32ys + Tya) 
ko 


的 精度 . 
14. 利用 Boole 法 则 的 误差 项 正比 于 fO(c) 的 事实 , 求 准确 的 误差 项 , 可 以 通过 以 下 策略 : 
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对 三 zedz 计算 Boole 近似 , 求 出 近似 误差 , 并 且 把 它 用 h A f(9(c) 表示 出 来 
15. 设 Py(c) 是 三 次 多 项 式 , 再 设 Pala) 是 在 3 个 点 z =—h,0, 及 的 插值 多 项 式 , 直接 证 明 
全 peas = | monar 这 个 事实 对 Simpson 法 刚 有 何 启示 ? 
2 R 


计算 机 问题 5.2 


1. KR m=16 Al m= 32 用 复合 梯形 法 则 近似 以 下 定 积分 . 与 准确 积分 进行 比较 , 并 且 记 录 
这 两 种 误差. 


a a 1 28d E 3 

(a) | asi (b) Í, aa of Terdzi wf 2 Inada; 
x 3 53, 2v3 

(©) | asinzdz; (f) | 二 @ | A € wh F 


2. 对 计算 机 问题 1 中 的 积分 应 用 复合 Simpson 法 则 , W m = 16 及 m = 32, 并 且 记 录 误 
a. 
3. 取 m= 16 及 m= 32, 应 用 复合 梯形 法 则 近似 以 下 定 积分 : 


(a) | eas; 四 六 sinz?dz; (c) [eras; (a) [i ma? + dz; 


(e) i ate (f) i coseřdz; (g) [ zzdzi (h) F In(cos z + sinz)dz. 


4. 取 m=16 及 m= 32, 对 计算 机 问题 3 中 的 积分 应 用 复合 Simpson 法 则 . 
5. Km=16 及 m=32, 对 以 下 反常 积分 应 用 复合 中 点 法 则 : 


(a) 上 Z_dz; wf Shas; of arctan qy, 


o sing sing 


b 

6. z =a $] z =b H f(z) Rie Lama BU | Vit fede 给 出 . 取 m = 32 用 
复合 Simpson 法 则 近似 以 下 曲线 的 长 度 : 

(a) y=2%,2€ [0,1]; (b) y=tanz,x € [0,4]; (c) y = arctanz,z € [0,1]. 

7. 对 计算 机 问题 1 中 的 积分 , 对 于 h = b- a,h/2,h/4,… ,h/23 计算 复合 梯形 法 则 的 近 
似 误差 并 绘图 . 例如 用 MATLAB 的 1oglog 命 令 作 一 个 双 对 数 坐 标 图 . 该 图 的 斜率 是 什么 ? 
它 与 理论 一 致 吗 ? 

8. 用 复合 Simpson 法 则 而 不 是 用 复合 梯形 法 则 执行 计算 机 问题 7. 


5.3 Romberg 积分 


本 节 开 始 讨论 计算 定 积分 的 有 效 方法 , 它 可 以 通过 加 入 数据 而 延 拓 到 所 要 求 的 
精度 . Romberg 积分 是 对 复合 梯形 法 则 应 用 外 推 的 结果 . 回忆 一 下 , 5.1 节 中 给 定 一 
个 与 步 长 h 有 关 的 法 则 N(h) 来 近似 一 个 量 M, 如 果 知 道 这 个 法 则 的 阶 , 就 可 以 对 
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这 个 法 则 进行 外 推 . ER (5.24) 说 明 复 合 梯形 法 则 关于 h 是 二 阶 的 . 所 以 可 以 应 
用 前 面 所 定义 的 外 推 来 得 到 至 少 达 到 3 阶 的 新 的 法 则 . 
更 仔细 地 检查 复合 梯形 法 则 (5.24) 的 误差 , 对 一 个 无 穷 次 可 微 函 数 f, 可 以 
证 明 
m-l 


[ f(z)dr = 和 (x +¥m+2 >> n) + cgh? + cgh4 + cgh5 +--+, (5.29) 
a i=1 
这 里 ci 仅 与 f 在 a。 和 b 的 较 高 阶 导数 有 关 , 而 与 h 无 关 . 例如 , c = (f'(a) 一 
f'(b))h?/12. 误差 中 不 出 现 奇 次 突 项 , 当 进 行 外 推 时 , 就 给 出 了 额外 的 好 处 , 因为 没 
ABBA, 对 由 复合 梯形 法 则 给 出 二 阶 公式 进行 外 推 就 得 到 一 个 4 阶 公式 , 对 结 
RE 4 阶 的 公式 进行 外 推 就 给 出 一 个 6 MAR, 如 此 等 等 . 

外 推 包括 公式 在 h 求 值 一 次 和 在 半 步 长 $ 上 求 值 一 次 . 为 了 达到 我 们 的 目的 ， 
定义 以 下 步 长 序列 : 


1 i 1 
h=b-a, hy=5(b-a), ha = 5(b-a)y---hy = za- a). (5.30) 


要 近似 的 量 是 M = 「 f(z)dz. 定义 近似 公式 Ra 是 使 用 h 的 复合 梯形 公式 ， 


于 是 当 需 要 用 外 推 时 ， Rig 正好 就 是 步 长 减 半 的 Ra 其 次 , 注意 公式 的 重合. 在 
Ry 和 Rj+11 中 都 需要 计算 f(z) 的 某 些 相同 的 函数 值 . 例如 , 我 们 有 


Ru = Hla) + SO), 


Ra = (o+ +s (95) = St + haf (+) 


通过 归纳 法 (见习 题 5) 证 明 


bead 


1 . x 
Ry = Ria thy D f(a + (2i- Dh), j=23, (5.31) 
i=1 


等 式 (5.31) 给 出 了 提高 精度 计算 复合 梯形 法 则 的 有 效 方法 . Romberg 积分 的 
第 二 个 特征 是 外 推 , 表格 格式 为 : 


Ra Raz 
Rsl R32 R33 (5.32) 
Ra Ra Ras Ru 
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这 里 我 们 把 第 二 列 Ri 定义 为 第 一 列 的 外 推 : 


= 2 Ra — = 
Ra = Ba Ru Roy = 7B Fas Ra = Ra Ra (5.33) 
第 3 列 由 M 的 4 阶 近似 组 成 , 所 以 能 把 它们 外 推 成 
_ 和 Raz — R22 _ Ra- Raz 4? Rs — Rag 
=p, Rs- 一 51 °> Bss- po > (534) 


等 等 , 用 公式 (见习 题 6) 给 出 第 j 行 第 k 列 的 元 素 
Rye = A Rone Rpts (6.35) 


这 个 表格 是 向 下 和 对 角 无 限 延 伸 的 下 三 角 和 矩阵， 对 定 积分 M 的 最 好 近似 是 Rj;， 
即 至 今 算得 的 底部 最 右边 的 值 , 它 是 27 阶 近似 . Remberg 积分 的 计算 恰好 是 循环 
地 写 出 公式 (5.31) 和 公式 (5.32) 的 问题 . 


MATLAB 代 码 是 直截了当 地 执行 前 面 的 算法 . 


%Program 5.1 Romberg integration 
% Computes approximation to definite integral 
% Inputs: Matlab inline function specifying integrand f, 
% a,b integration interval, n=number of rows 
% Output: Romberg tableau r 
function r=romberg(f,a,b,n) 
h=(b-a)./(2.*(O:n-1)); 
x(1,1)=(b-a) *(£(a)+£(b))/2; 
for j=2:n 
subtotal = 0; 
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for i=1:2^(j-2) 


subtotal = subtotal + f(a+(2*i-1)*h(j)); 


end 
r(j,1) = r(j-1,1)/2+h(j)*subtotal; 
for k=2:j 
x (j,k) = (4% (k-1) *x (5, k-1) -r (5-1, k-1)) / (4% (k-1)-1); 
end 
end 


例 5.11 JH Romberg 积分 近似 [me ds. 
1 


运行 上 面 的 代码 , 结果 是 


>> romberg(inline('log(x)'),1,2,4) 
ans = 


0.34657359027997 0 

0.37601934919407 0.38583460216543 
0.38369950940944 0.38625956281457 
0.38564390995210 0.38629204346631 


0 0 
0 0 
0.38628789352451 0 
0.38629420884310 0.38629430908625 


注意 Ras 和 Rss 的 前 面 6 位 小 数 是 一 致 的 . 这 是 Romberg 方法 收敛 于 定 积分 
的 正确 值 的 一 个 信号 . 可 以 把 它们 与 精确 值 In 2 - 1 ~ 0.386 294 36 比较 . < 

把 例 5.11 的 结果 与 例 5.8 的 结果 进行 比较 , 表明 Romberg 积分 的 第 二 列 的 最 
后 一 个 值 与 复合 Simpson 法 则 的 结果 相 匹配 . 这 并 非 巧合 . 事实 上 , 恰 如 Romberg 
积分 的 第 一 列 是 由 逐次 的 复合 梯形 法 则 的 值 所 定义 , 第 二 列 是 复合 Simpson 法 则 
的 值 . 换言之 , 复合 梯形 法 则 的 外 推 是 复合 Simpson 法 则 (见习 题 3). 

Romberg 积分 通常 的 停止 准则 是 计算 新 的 行 , 直到 对 角 线 上 的 两 个 连续 的 值 


Rj; 小 于 预 设 的 误差 容 限 . 


习题 5.3 
1. 对 以 下 积分 用 Romberg RAR Rss: 


(a) Ji az (b) [? szaz; (c) [fore 


2. 对 以 下 积分 用 Romberg 积分 求 Res: 


® [j aasi () [ © fi coszaz. 


3. 证 明 对 Ra 和 Ra 中 的 复合 梯形 法 则 进行 外 推 产生 Roo 中 的 复合 Simpson 法 则 ( 步 长 


Hi ha). 


4. 证 明 Romberg 积分 的 Rss 可 以 表示 为 习题 5.2.13 中 定义 的 Boole 法 则 WKH hs). 


a 


。 证明 公式 (5.31). 
6. 证 明 公式 (5.35). 
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计算 机 问题 5.3 
1. 用 Romberg 积分 近似 Rss 与 准确 的 积分 进行 比较 , 记录 误差 . 
4 rdr ae 
(a) I, rT (b ) | se Fa of Zerdzi wf 2? Inada; 
ade 2V3 de 
(e) f a?sinzaz; ofz Jac wf zri wf 二 


2. 用 Romberg 积分 来 近似 以 下 定 积分 . 作为 停止 准则 ， MARINAR ERMER 
F 0.5 x 107° Wik. 


(a) i ede; 四 六 sin 22dz; ofe "dz; wf In(z? + 1)dz; 


(e) 人 wos O J cose*dz; (g) j: ardzi wf In(cosz + sin z)dz. 
3. (a) Wik Romberg 积分 第 二 列 的 阶 . 如 果 它 们 是 4 阶 近似 , 误差 的 双 对 数 坐 标 与 h 的 


关系 图 看 起 来 如 何 ? 对 例 5.11 中 的 积分 , 执行 这 一 过 程 . 
(b) 测试 Romberg 积分 第 3 列 的 阶 . 


5.4 ” 自 适应 求 积 


到 目前 为 止 , 我 们 学 习 的 近似 积分 方法 用 相等 的 步 长 . 一 般 地 , 较 小 的 步 长 可 
以 提高 精度 . 变化 很 大 的 函数 需要 更 多 的 步 数 , 因此 需要 更 多 的 计算 时 间 , 这 是 因 
为 需要 较 小 的 步 长 来 追踪 函数 的 变化 . 

尽管 对 复合 方法 我 们 有 误差 公式 , 但 是 用 它们 直接 计算 满足 所 给 定 的 误差 容 限 
的 h 值 常常 是 困难 的 . 这 些 公式 包含 可 能 复杂 且 难 以 在 问题 的 整个 区 间 估 计 的 较 
高 导数 . 如 果 只 是 通过 函数 值 的 表格 了 解 这 个 函数 , 那么 其 较 高 阶 导数 甚至 可 能 得 
不 到 . 

应 用 等 步 长 的 复合 公式 的 第 二 个 问题 是 , 函数 在 其 定义 域 的 某 些 部 分 变化 剧烈 
而 在 其 他 部 分 变化 平缓 ( 见 图 5-5). 在 前 半 部 分 中 一 种 步 长 足以 满足 误差 容 限 , 但 
在 后 半 部 分 可 能 全 都 无 效 . 

幸运 的 是 , 有 方法 解决 这 两 个 问题 . 利用 来 自 积分 误差 公式 的 信息 , 我 们 可 以 
建立 一 种 准则 来 确定 在 计算 中 什么 样 的 步 长 适合 于 特定 的 子 区 间 ， 隐藏 在 这 种 称 
为 自 适 应 求 积 (Adaptive Quadrature) 的 方法 后 面 的 思想 与 我 们 在 本 章 学 习 过 的 外 
推 思想 密切 相关 . 

根据 (5.21), 在 区 间 [a,b] 上 的 梯形 法 则 Si.) 满足 公式 


b u 
| ajdt = Sa — nL oF (5.36) 
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图 5-5 用 于 f(z) = 1+siness 的 自 适应 求 积 . 误差 容 限 TOL = 0.005. 
(a) 自 适应 梯形 法 则 需要 140 个 子 区 间 ; (b) 自 适应 Simpson 法 
则 需要 20 个 子 区 间 


它 对 某 个 a < co <b 成 立 , XE A=b-a. 设 c 是 lab) MPA, 我 们 可 以 对 
两 个 半 区 间 用 梯形 法 则 , 根据 同样 的 公式 得 到 


b 3 p" 3 p" 
h’ hi 
a (5.37) 
Ee E A hs f" (c3) 
= [a,c] lel F 12 ， 


这 里 c 及 co 分 别 在 [a,c] 及 [cb] 内 . 我 们 已 经 用 定理 5.1 合并 误差 项 . 从 (5.36) 
减 去 (5.37) 得 到 


Sot] — (Sla,q 十 Sea) = 


这 里 已 经 设 f"(c3) © f"(co)- 

从 等 式 减 去 精确 的 积分 , 我 们 已 经 把 误差 (近似 地 ) 写 为 用 我 们 能 够 计算 的 东 
西 来 表示 . 例如 , 注意 到 , 由 (5.37) 式 Spas) — (Shay) + Stejy) 在 区 间 [a,b] 上 近似 地 
是 Sta + Sey) 积分 误差 的 3 倍 . 因此 , 可 以 检查 前 一 个 表达 式 是 否 小 于 3*TOL ( 即 
为 某 个 误差 容 限 ), 来 作为 检查 后 一 个 近似 未 知 的 精确 积分 是 否 在 TOL 之 内 的 一 种 
方法 . 

如 果 不 符合 这 个 准则 , 我 们 可 以 再 细 分 . 既然 有 了 在 给 定 的 子 区 间 上 认可 近似 
的 准则 , 我 们 就 可 以 继续 把 区 间 分 半 , 并 且 对 这 种 半 区 间 循 环 地 应 用 这 种 准则 . 每 
分 半 一 次 , 所 需要 的 误差 容 限 由 因子 2 Wh, 而 误差 (对 于 梯形 法 则 ) 应 该 由 因子 
23 = 8 减 小 , 所 以 可 以 使 用 自 适应 方法 通过 足够 的 区 间 分 半 次 数 来 满足 最 初 的 误 
差 容 限 . 


自 适应 求 积 
在 误差 容 限 TOL 之 内 近似 求 [i roaz: 


h? f” (ca) f"(co) 3,3 f” (cs) 
-+ (5.38) 


12 4 12 ’ 
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_atb 
AED) 


Son = 0-H, 


b-a 
if |Sjo,2) — Sla] ~ Sics] < 3- TOL (=) : 


接受 Sla.a + Sion) 作为 整个 区 间 [a, 可 上 的 近似 . 
else 
对 [a,c] 及 [c, 循环 地 重复 上 面 步骤 


end 


MATLAB 编 程 策略 操作 如 下 . 建立 一 张 逐渐 形成 的 子 区 间 列 表 . 这 张 表 最 初 由 


一 个 区 间 (a, 6] 组 成 . 通常 选取 表 中 最 后 一 个 子 区 间 并 使 用 这 个 准则 . 如 果 满 足 , 把 
这 一 子 区 间 上 的 积分 近似 式 加 入 运行 求 和 , 并 且 在 表 中 删除 这 个 区 间 . 如 果 不 满足 ， 
则 在 表 中 由 两 个 子 区 间 来 代替 这 个 子 区 间 , 列表 长 度 加 一 , 进行 到 列表 的 最 后 并 重 
复 上 面 的 步骤 . 下 面 的 代码 执行 了 这 种 策略 . 


%Program 5.2 Adaptive Quadrature 
% Computes approximation to definite integral 
% Inputs: Matlab inline function f, interval [a0,b0], 
% error tolerance tol0 
% Output: approximate definite integral 
function sum=adapquad(f,a0,b0,tol0) 
sum=0; n=1; a(1)=a0; b(1)=b0; tol(1)=tol0; app(1)=trap(f,a,b); 
while n>0 % n is current position at end of the list 
c=(a(n)+b(n))/2; oldapp=app(n) ; 
app(n)=trap(f,a(n),c) ;app(n+1)=trap(f,c,b(n)); 
if abs (oldapp- (app (n) +app(n+1) ))<3*tol(n) 


sum=sum+app (n) +app (n+1) ; % success 
n=n-1; % done with interval 
else % divide into two intervals 
b(n+1)=b(n); b(n)=c; % set up new intervals 
a(n+1)=c; 
tol(n)=tol(n)/2; tol(n+1)=tol(n); 
n=n+1; % go to end of list, repeat 
end 


end 


function s=trap(f,a,b) 
s=(f(a)+£(b))*(b-a) /2; 


例 5.12 ”用 自 适应 求 积 法 近似 计算 积分 
f (1+sine**)de. 
-1 


5-5a 表示 在 误差 容 限 0.005 AX f(z) 实施 自 适应 求 积 算法 的 结果 . 尽管 需 
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要 140 个 子 区 间 , 但 是 它们 中 间 仅 有 11 个 落 在 “平稳” 区域 [-1,0]. 近似 定 积分 是 
2.502 + 0.005. 在 第 二 轮 中 , 我 们 把 误差 容 限 改 为 0.5 x 10-4 并 得 到 2.500 8, 
超过 1 316 个 子 区 间 上 进行 的 计算 , 有 4 位 小 数 可 信 . 

当然 , 可 以 用 更 复杂 的 法 则 来 代替 梯形 法 则 . 例如 , 用 Sas) 代表 在 区 间 [a, 
上 的 Simpson 法 则 (5.22): 


b 5 
| f(z)dz = Sto, — Ea). (5.39) 


在 [a,b] 的 两 个 半 子 区 间 内 应 用 Simpson 法 则 得 到 


hs fO(cr) hs fc) 
| raz=sea- 3290 十 Seo 一 了 90 


hë Olc) 
=Sla,d + Ste, — I wo 


这 里 用 了 定理 5.1 把 两 个 误差 项 结合 在 一 起 . 用 (5.39) RE (5.40); 得 到 


Oleo) _ WE FOC) wil), 
Sia] — (Sla,q 十 Si) = hs æ ~ 1690 wh 


(5.40) 


(5.41) 


这 里 假设 FO (c3) = fO (co). 
因为 Slao) — (Sfae + Stea) 是 近似 So,aj + Sica) 的 误差 的 15 4%, 所 以 可 以 得 到 
新 的 准则 
|Staa — (Slag + Stea)l< 15 * TOL (5.42) 
并 且 如 前 进行 . 按 惯例 , 在 这 个 准则 中 用 10 代替 15, 使 算法 更 保守 . 图 5-5b 显示 
了 对 同一 个 积分 应 用 自 适应 Simpson 求 积 方法 的 结果 . 当 使 用 误差 容 限 0.005 时 ， 
近似 积分 是 2.500, 用 了 20 个 子 区 间 , 比 自 适应 梯形 法 则 求 积 法 节省 了 很 多 . 把 误 
差 容 限 减 小 到 0.5 x 10-4, 就 得 到 2.500 8, 只 用 了 58 个 子 区 间 . 
习题 5.4 
1. 取 误 差 容 限 TOL=0.05, 利用 梯形 法 则 , 手工 用 自 适应 求 积 方法 , 求 下 列 积分 的 近似 值 及 
近似 误差 . 
(a) [i= zdz; (b) ih coszdz; (c) [eva 
0 0 
2、 取 误差 容 限 TOL=0.01, 利用 Simpson 法 则 , 手工 用 自 适 应 求 积 方法 , 求 下 列 积分 的 近似 
值 及 近似 误差 . 


(a) | zetaz; o | Sa: of aa 
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3. 
4. 


对 中 点 法 则 (5.26) 建立 自 适应 求 积 方法 . 从 求 子 区 间 上 一 条 满足 误差 容 限 的 准则 开始 . 
对 法 则 (5.28) 建立 自 适应 求 积 方法 . 


计算 机 问题 5.4 


1. 


aan we 


用 自 适 应 梯形 求 积 方法 , 误差 在 0.5 x 10 之 内 , 求 以 下 定 积分 的 近似 值 , 用 8 位 准确 小 
数 记 录 答 案 , 并 记录 所 需要 的 子 区 间 个 数 . 


ane a o 
(a) Í = 9 Í, Z © if rede; (a) [ 2? Inada; 


ade 2V3 dr 1 cde 
; 加 | 


x 3 
ae : 
(©) [ie saris; (9 | Vz —1 o Vat +4" (») Í, vai 


. 把 自 适应 梯形 法 则 求 积 方法 的 MATLAB 代 码 修改 成 使 用 Simpson 法 则 的 自 适应 求 积 方 


法 . 采用 以 10 代替 15 的 准则 (5.42). RØ 5.12 中 的 积分 的 近似 值 , 误差 在 0.005 之 内 ， 
并 且 与 图 5-5b 进行 比较 , 需要 多 少 个 子 区 间 ? 


对 计算 机 问题 2 中 建立 的 自 适应 Simpson 法 则 , 执行 计算 机 问题 1 中 的 步骤 . 
.用 在 习题 3 中 建立 的 自 适应 中 点 法 则 , 执行 计算 机 问题 1 中 的 步骤 . 

. 用 在 习题 4 中 建立 的 自 适应 开 Newton-Cotes 法 则 , 执行 计算 机 问题 1 中 的 步 颈 ， 
， 用 自 适应 梯形 求 积 法 , 计算 以 下 定 积分 的 近似 值 , 误差 在 0.5 x 10-8 之 内 . 


(a) [ edz; (b) 全 mean (c) [eras; (a) 人 In(z? + 1)dz; 


(e) f ts (f) ear (8) [ z*dz;' (h) (i In(cosz + sin x)dz. 


.用 自 适应 Simpson 求 积 方法 , 执行 计算 机 问题 6 中 的 步 又 
.在 正 态 分 布 平均 的 标准 差 。 之 内 概率 是 -让 |” ede. 用 自 适应 Simpson RBY 


法 , 求 准确 到 8 位 小 数 的 概率 , 在 以 下 标准 差 内 : 
(a)l; (b) 2 (e) 3. 


， 写 出 称 为 myerf .m 的 MATLAB 函 数 , 它 对 任意 输入 z, 用 自 适应 Simpson 法 则 准确 到 8 位 


小 数 计算 下 面 的 值 : erf(z) = J | 。- “ds 通过 与 MArrAa 阵 数 erf 进 行 比较 , 对 = 1 
0 
及 = = 3 试验 你 的 程序 . 


5.5 Gauss 求 积 
求 积 方法 的 精度 是 用 这 种 方法 求 积 没有 误差 的 所 有 多 项 式 的 次 数 .，n 次 的 


Newton-Cotes 方法 有 精度 n (n 是 奇数 ) 及 n+1 (n 是 偶数 ) , 梯形 法 则 (n =1 A 
Newton-Cotes 方法 ) 有 精度 1. Simpson 法 则 (n = 2) 对 次 数 小 于 等 于 3 的 多 项 式 


是 正确 的 . 


为 了 达到 这 种 精度 , Newton-Cotes 公式 在 等 距 点 用 n 十 1 个 函数 求 值 . RITE 
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求 的 问题 使 我 们 想起 第 3 章 关 于 Chebyshev 多 项 式 的 讨论 . Newton-Cotes 公式 就 
其 精度 而 言 是 否 最 优 ? 或 者 能 否 建 立 更 有 功效 的 公式 ? 特别 是 , 如 果 放 弃 等 距 点 上 
的 求 值 , 还 有 更 好 的 方法 吗 ? 

至 少 从 精度 的 观点 来 看 , 还 有 更 有 功效 和 复杂 的 方法 . 本 节 挑 选 出 其 中 最 著名 
的 一 种 方法 来 讨论 . 当 用 n+1 个 点 时 , Gauss 求 积 方法 有 精度 2n +1, 是 Newton- 
Cotes 方法 的 2 倍 . 它 的 求 值 点 不 是 等 距 的 . 解释 Gauss 求 积 方法 如 何 工作 要 涉及 
正 交 函数 , 这 不 仅 因为 它 本 身 有 趣 , 还 因为 它 是 数值 方法 受益 于 正 交 性 启发 和 鼓舞 
的 冰山 一 角 . 

定义 5.3 BA [a,b] 上 的 一 组 非 零 函 数 {po,p1,… ,pn} 如 果 满足 


0, j#k, 


b 
| 20a) = { ZO ik 


则 它们 在 区 间 (a, 6] 上 是 正 交 的 (orthogonal). 

定理 5.4 dK {po,p1,… Pn} 是 区 间 [a,b] 上 的 一 组 正 交 多 项 式 ， 这 里 pi 
的 次 数 是 i 那么 {popi ,Pn} 是 [a,b] 上 次 数 最 高 为 n 的 多 项 式 向 量 空间 的 一 
组 基 . 

证 我 们 必须 证 明 这 些 多 项 式 张 成 该 向 量 空间 而 且 是 线性 无 关 的 . 容易 的 归 
纳 论证 表明 , 任 一 组 多 项 式 {po,P1,… ,Pn} (这 里 pi 次 数 是 i) 张 成 了 次 数 最 多 是 nn 
的 多 项 式 空间 . 为 了 证 明 线 性 无 关 , 假设 存在 线性 相关 性 È apila) =0, FARE 
交 性 假设 证 明 所 有 的 ci 必须 是 零 EEO SK <n, 因为 pk 与 除 自己 以 外 的 每 
一 个 多 项 式 正 交 , 我 们 得 到 


b n n 了 b 
0= | Pk > cipi(z)dz = Eef Pkpidz = af pide. (5.43) 
a 40 i=0 Je a 


所 以 ck = 0. 


亮点 正 交 性 

在 第 4 章 , 我 们 发 现 有 限 维 向 量 的 正 交 性 有 助 于 阐述 和 求解 最 小 二 乘 
问题 . 对 于 求 积 , 像 单 变 量 多 项 式 的 向 量 空间 那样 , 我 们 需要 无 穷 维 空间 
中 的 正 交 性 . 一 组 基 是 单项 式 基 {1,z,z?,… ,}. 然而 , 更 有 用 的 基 是 一 个 
正 交集 . 对 于 在 区 间 [-1,1] 的 正 交 性 , 其 正确 的 选择 是 Legendre SUX. 


我 们 省 略 以 下 定理 的 证 明 : 
定理 5.5 如果 {po,… Pn} 是 [o, 引 上 的 多 项 式 的 一 个 正 交 集 ， 并 且 如 果 pi 
HAKKAR i, 那么 pi 在 区 间 (a,b) PH i HAMM. 
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例 5.13 ”在 区 间 [-1,1] 上 找 3 SERS MR. 
最 佳 初始 估计 是 po(z) = 1 及 pi(z) = z, 这 是 因为 


| 1-adz =0. 
-1 


试验 pa(z) = z? 不 太 成 功 , 因为 它 与 Po(z) 缺乏 正 交 性 : 


i 2 
| po(z)z2dz = 3 #0. 
-1 
修改 pz(z) = 2? + c, 我 们 发 现 只 要 c= -}, 
j po(z)(z2 + c)dz = 3 十 2c= 0. 
-1 


经 检验 , pi 与 po 是 正 交 的 (见习 题 7), 因此 集合 {1,z,z? — 3} 是 在 [-1,1] 上 的 一 
组 正 交集 . < 
Bl 5.13 中 的 3 个 多 项 式 是 Legendre 发 现 的 一 组 正 交 多 项 式 . 
例 5.14 ”证 明 Legendre 多 项 式 集合 
1 d 


mal? —1)], O<i<n 


pi(z) = 

在 [-1,1] FEX. 

首先 注意 , pi(z) 是 i 次 多 项 式 (作为 2i 次 多 项 式 的 i 阶 导数 )， 其 次 注意 , 如 
果 i<j, 则 (z? 一 1)i 的 i 阶 导数 可 被 (z? — 1) 整除 . 

我 们 要 证 明 , 如 果 i < j, 那么 积分 

[te -Oe - 11% ae 
=i 

等 于 0. Ku = [(z? - 0, dv = [(z? — 1)iG)dz 进行 分 部 积分 , 得 到 


1 1 1 
w- | vdu= (a? = Oa- E] -f E- DIED a? -10a 
mo: -1 Ja 
=- [et DD? -Do-odn 
-1 


这 是 因为 [(z? — 1)9]9-) 被 (z? — 1) 整除 . 
重复 ;+ 1 次 分 部 积分 后 , MF - 


A f le? — JOP [@? — 110d = 0, 
一 1 
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这 是 因为 (z? 一 1); 的 (2; + 1) 阶 导数 是 零 . < 
根据 定理 5.5, n 次 Legendre 多 项 式 在 [-1,1] PA n MR z1,… ,zn. 函数 的 

Gauss 求 积 法 是 简单 地 把 函数 在 Legendre 根 处 求 值 后 进行 线性 组 合 . 我 们 通过 用 

结 点 是 在 Legendre 根 处 的 插值 多 项 式 的 积分 来 近似 所 求 函数 的 积分 ,以 此 达到 这 

个 目的 . 

固定 n, 并 且 设 Q(z) 是 被 积 函数 f(z) LBA z1,… ,zn 的 插值 多 项 式 . 利用 

Lagrange AR, 可 将 Q(z) BH 


AELE) RP ula) = = 2S a) 20) 
ei 


(ai — 21) +++ (Ti — Ti) +++ (Zi — Tn) 


两 边 积分 得 到 积分 的 以 下 近似 ; 
Gauss 求 积 
[Wars Ease, (5.44) 
kj? i=l A 
这 里 


amf L(z)dz,  i=1,=-,n. 
-1 


ci 以 极 高 的 精度 被 列 出 . 表 5-2 给 出 了 直到 n= 4 的 值 . 
表 5-2 Gauss 求 积 系数 : n 次 Legendre 多 项 式 的 根 zi 以 及 (5.44) 中 的 系数 CA 


n 根 zi 系数 ci 
2 — 1/3 = —0.577 350 269 189 63 1 = 1.000 000 000 000 00 
V1/3 = 0.577 350 269 189 63 1 = 1.000 000 000 000 00 
3 —V3/5 = —0.774 596 669 241 48 5/9 = 0.555 555 555 555 55 
0 = 0.000 000 000 000 00 8/9 = 0.888 888 888 888 88 
V3/5 = 0.774 596 669 241 48 5/9 = 0.555 555 555 555 55 
4 -Ja = —0.861 136 311 594 05 90-5730 = 0.347 854 845 137 45 
-y 15-325 = -0.339 981 043 584 86 2045V30 = 0.652 145 154 862 55 
y 22-342 = 0.339 981 043 584 86 2045V30 = 0.652 145 154 862 55 
154290 — 0.861 136 311 594 05 90-530 = 0.347 854 845 137 45 


$15.15 用 Gauss 求 积 法 近似 


1 2 
| edz. 
-1 
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2 


14 位 数字 的 准确 答案 是 1.711 248 783 784 30. 对 于 被 积 函 数 f(z) =e F, HB 
4 n=2 的 Gauss 求 积 近似 是 


这 、 
eT de © cljf(zi)+czf(za) = 1-f (月 +1f (V3) ~ 1.692 963 449 781 23. 
1 


— 


n= 3 的 近似 是 
as (-v3) + HO + af (v2) ~ 1.712 020 245 201 91. 
n=4 的 近似 是 


clf(zl) + caf (x2) + caf(zs) + caf (xa) ~ 1.711 224 504 599 49. 


这 个 近似 (用 了 4 个 函数 的 求 值 ) 比 Romberg 近似 Rss( 它 用 了 在 [-1,1] 上 5 个 等 
距 的 函数 求 值 ) 要 接近 于 准确 值 . 

1.21306131942527 0 0 

1.60653065971263 1.73768710647509 0 

1.68576223244091 1.71217275668367 1.71047180003091 

Gauss 求 积 法 精确 性 的 秘密 由 下 面 的 定理 来 揭示 . 

定理 5.6 ”利用 [-1,1] 上 的 n 次 Legendre 多 项 式 的 Gauss 求 积 方法 有 精度 
2n—1. 

证 设 P(e) 是 次 数 最 多 为 2n 一 1 的 多 项 式 . 我 们 必须 证 明 它 用 Gauss RR 
法 可 以 准确 地 求 得 积分 . 

利用 多 项 式 的 长 除法 , TH Pl) 表示 为 


P(z) = S(z)pn(z) + R(z), (5.45) 


这 里 S(z) 和 R(z) AKMDF n 的 多 项 式 . 注意 , Gauss 求 积 对 多 项 式 R(z) 将 是 
准确 的 , 这 是 因为 它 恰好 是 n 一 1 次 插值 多 项 式 的 积分 , 而 这 个 插值 多 项 式 恒 等 于 
R(z). 

Æ n 次 Legendre 多 项 式 的 根 zi 处 , 因为 对 所 有 的 i 有 pn(zi) = 0, HR 
P(zi) = R(zi), 这 意味 着 Gauss 求 积 近似 将 是 相同 的 .但 是 它们 的 积分 也 是 相等 
的 : 积分 (5.45) 得 


1 1 1 1 
| P(z)dz = | S(z)pa(z)dz 十 | R(z)dz =0 +| R(z)dz, 
-1 -1 -1 一 1 


这 是 因为 根据 定理 5.4, 5(z) 可 以 写成 低 于 mn 次 的 多 项 式 的 线性 组 合 , 它 与 pn(z) 
是 正 交 的 . 因为 Gauss 求 积 对 于 Rez) 是 准确 的 , 所 以 它 对 P(z) 也 必定 是 准确 的 . 
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要 近似 计算 在 一 般 的 区 间 [a,b] 上 的 积分 , 问题 需要 转化 到 [一 1,1] 上 去 . 利用 
ARH t = (2z 一 a 一 b)/(b 一 a), 容易 验证 


[ f(z)dz = (ie £ (===) ttar, (5.46) 


我 们 用 一 个 例子 来 说 明 . 
例 5.16 ”用 Gauss 求 积 法 , R | Inzdz 的 近似 值 
1 


根据 (5.46), 
ji Ing dz = if In (+) at. 


现在 可 设 f(t) = In((t + 3)/2)/2， 并 用 标准 的 根 与 系数 ，m = 4 的 结果 是 
0.386 294 496 938 71, 与 准确 值 2In2—1 ~ 0.386 294 361 119 89 进行 比较 它 
又 一 次 比例 5.11 中 用 4 个 点 的 Romberg 积分 更 精确 . < 
习题 5.5 

1. An =2 的 Gauss 求 积 法 近似 以 下 积分 . 与 准确 值 比较 , 并 且 给 出 近似 误差. 
(a) etn 四 | van OF eazi (| coonzde. 

“1 a a zi 

2. 用 = 3 的 Gauss 求 积 法 近似 习题 1 中 的 积分 , 并 给 出 误差 . 
.用 n= 4 的 Gauss 求 积 法 近似 习题 1 中 的 积分 , 并 给 出 误差 . 
4. 利用 代 换 (5.46), 改变 变量 , 重新 写成 [一 1, 1] 上 的 积分 . 


名 


4 ade 1 zadz ae y 
(Se O Í, I o | zeds; (d) j 2? Inada. 
5. 用 n= 4 的 Gauss 求 积 法 , 近似 习题 4 中 的 积分 . 

6. 用 n=4 的 Gauss 求 积 法 近似 以 下 积分 . 


(a) | (2 422)dz; (o) f’ nzas; (c) f zsdzi (d) f e-Fdz. 
o 1 区 -3 


7. WE Legendre 多 项 式 pi(z) = z 与 pa(z) = 2? — 3 FE [-1,1] LIER. 
8. 求 直到 3 次 的 Legendre 多 项 式 并 与 例 5.13 比较 . 
9. 对 n = 3, 验证 表 5-2 中 的 系数 cs Rai. 

10. 对 n =4, 验证 表 5-2 中 的 系数 ci 及 xi. 


实例 检验 5 ”计算 机 辅助 建 模 中 的 运动 控制 


计算 机 辅助 建 模 和 制造 需要 对 沿 着 指定 的 运动 路 径 的 空间 位 置 进行 精确 的 控制 . 我 们 将 
说 明 用 自 适应 求 积 法 解决 这 个 问题 的 基本 部 分 : 等 分 或 者 把 任意 路 径 分 成 等 长 的 子路 径 . 

在 数值 机 器 问题 中 , 最 好 是 沿 着 路 径 保持 恒定 速度 . 在 每 一 秒 中 , 行程 应 沿 着 等 长 的 机 器 - 
物质 界面 进行 . 在 其 他 的 运动 计划 应 用 中 , 包括 计算 机 动画 ,可 能 需要 更 复杂 的 前 进 曲 线 : 用 
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手 去 抓 门 的 把 手 时 可 能 开始 和 结束 的 速度 很 慢 , 但 是 在 中 间 的 速度 较 快 . 机 器 人 学 与 虚拟 现实 
应 用 需要 构造 要 通过 的 参数 化 曲线 与 曲面 . 构造 小 幅度 的 等 增 量 路 径 的 表格 常常 是 必要 的 第 
一 步 . 
假设 给 定 参数 路 径 已 = {z(t), y(t)l0 < t <1}. 图 5-6 显示 了 示例 的 路 径 
x(t) = 0.5 + 0.3t + 3.90? — 4.708, 
P= 
{ y(t) = 1.5 + 0.3¢ + 0.94? — 2.7¢°, 


这 是 由 4 个 点 (0.5, 1.5), (0.6, 1.6), (2, 2), (0,0) 所 确定 的 Bézier 曲线 . ( 见 3.5 节 ) 由 相等 间隔 
的 参数 值 t = 0, 车, 于, 3,1 所 确定 的 点 如 图 5-6 所 示 . 注意 参数 的 相等 间隔 并 不 意味 着 弧 长 的 
相等 间隔 . 你 的 目标 是 用 求 积 方法 把 这 条 路 径 n 等 分 . 


图 5-6 由 Bézier 样 条 给 出 的 参数 曲线 : 一 般 地 , 参数 t 的 相等 间隔 并 
不 把 路 径 分 成 相等 的 长 度 


由 微 积分 可 知 : 从 ti 到 to 的 路 径 弧 长 是 
| Veo Fdt. 
i 


这 个 积分 很 少 产生 的 封闭 形式 的 表达 式 . 因此, 通常 用 一 种 自 适应 求 积 技术 来 控制 路 径 的 参 
数 化 . 


建议 习题 


1， 写 出 用 自 适应 求 积 计算 从 上 = 0 到 上 = T( 给 定 T < 1) 的 弧 长 的 MATLAB 函 数 . 

2. 写 一 个 程序 , 使 得 对 任 一 输入 s, 求 沿 着 曲线 的 这 种 方法 的 s 的 参数 t(s). 换言之 , 从 
t= 0 到 上 = t(s) HIKEA t= 0 Bt = 1 的 弧 长 相 除 应 等 于 s. 用 对 分 法 确定 点 
t(s) 到 3 位 准确 小 数 , 什么 函数 被 置 为 零 ? 应 该 用 什么 加 括号 区 间 起 动 对 分 法 ? 

3. 把 路 径 n 等 分 . 取 n=4 及 n= 20. 给 出 与 图 5-6 类 似 的 图 , 表明 这 种 等 分 . 

4. 用 Newton 方法 在 第 2 步 中 代替 对 分 法 , 并 重复 第 2 步 和 第 3 步 . 需要 什么 样 的 导数 ? 
初始 估计 的 最 优选 择 是 什么 ? 经 过 这 种 替代 , 计算 时 间 是 否 减少 ? 

附录 A 显示 了 MABLAT 中 备 有 的 动画 命令 . 例如 命令 
set (gca, 'XLim', [-2 2],'YLim',[{-2 2], 'Drawmode','fast',... 
‘visible','on'); 
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cla 
axis square 
ball=line('color','r', 'Marker','o', 'MarkerSize',10,... 
‘LineWidth',2, ‘erase’, 'xor xdata',[],'ydata',{]); 
通过 下 面 的 命令 定义 了 一 个 指定 位 置 (z,y) 的 “ 球 ”: 
set (ball, 'xdata',x, 'ydata',y); drawnow;pause(0.01) 
把 这 一 行 放 到 改变 = 和 y 的 循环 中 ， 使 这 个 球 沿 着 MATLAB 图 像 视 窗 中 的 路 径 
移动 . 
5. 用 MATLAB 动 画 命令 显示 沿 着 路 径 的 移动 , 开始 以 原 参数 0 < t < 1 的 速度 , 然后 以 由 
t*(s)(0 < s < 1) 给 出 的 (恒定 ) 速度 . 
6. 等 分 你 选取 的 路 径 进行 实验 ， 例 如 在 平面 (或 在 三 维 空间 ) 中 选取 4 个 点 , 写 出 相应 的 
Bézier 样 条 , 并 且 把 它 分 成 n 部 分 . 
7， 写 出 路 径 P 按照 任意 前 进 曲线 C(z)(0 < s < 1) 移动 的 程序 . 这 里 C(0) =0 及 C(1) =1. 
目标 是 沿 着 曲线 C 以 这 样 的 方法 移动 : 路 径 总 弧 长 的 比 C(z) 在 0 和 s 间 移 动 . 例如 ， 
沿 着 路 径 以 恒定 速度 运动 , 可 以 用 O(s) = s 来 表示 .尝试 以 前 进 曲 线 C(s) = s 及 
C(s) = s? 为 例 . 
关于 平面 和 空间 曲线 的 重新 参数 化 的 更 多 细节 与 应 用 , 可 参阅 [1] 和 [5]. 


软件 和 进一步 阅读 


闭 Newton-Cotes 方法 和 开 Newton-Cotes 方法 是 近似 计算 定 积分 的 基本 工具 . Romerg 
积分 是 一 种 加 速 的 形式 . 大 多 数 商 用 软件 工具 以 某 种 形式 包含 自 适应 求 积 . 有 关 数 值 微分 和 数 
值 积分 的 经 典 教科 书包 括 [2, 9, 7, 3, 4). 

许多 有 效 的 求 积 技术 通过 Netlib(www.netlib.org/quadpack) 中 备 有 的 公共 流通 软件 包 
Quadpack[8] 中 的 Fortran 子 程序 来 执行 ，Gauss-Kronrod 方法 是 基于 Gauss 求 积 法 的 一 
种 自 适应 方法 . Quadpack 分 别提 供 了 非 自 适应 与 自 适应 方法 QNG 和 QAG, 其 中 后 者 基于 
Gauss-Kornod 方法 . IMSL 和 NAG 中 的 程序 都 是 基于 Quadpack 子 程序 . 例如 在 IMSL 中 
的 quadrature 类 是 java 实现 . 

MATLAB 的 quad 命 令 是 自 适应 复合 Simpson RAKIM, 并且 dblquad 处 理 了 二 重 积分 . 
MATLAB 的 符号 工具 箱 有 命令 diff 和 int, 它们 分 别 用 于 符号 微分 和 符号 积分 . 

n 元 函数 的 积分 可 以 通过 直接 推广 一 维 方 法 来 进行 ， 只 要 积分 区 域 是 简单 的 ,例如 , 见 
[2,6]. 对 于 某 些 复杂 区 域 , 需要 用 Monte-Carlo 积分 . Monte-Carlo 较 易 实现 , 但 是 一 般 收敛 
更 慢 . 这 些 议题 将 在 第 9 章 中 进一步 讨论 . 


FOE BRONTE 


塔 科 马 海峡 大 桥 (Tacoma Narrows Bridge) 曾经 是 世界 上 第 三 长 的 悬索桥 ， 以 
其 在 高 速 大 风 期 间 的 明显 垂直 振动 而 闻名 于 世 . 1940 年 11 月 7 日 上 午 大 约 11 点 
左右 , 大桥 断 裂 ， 落 入 普 吉 特 (Puget) 海湾 . 

但 是 在 断裂 之 前 的 运动 却 主要 是 左右 扭转 此 前 很 难 遇 见 , 在 断裂 前 扭转 持续 
了 45 分 钟 . HEH RIG KAS RUG LAME MA HARARE GM. 

从 那 时 起 , 建筑 师 和 工程 师 们 对 断裂 的 原因 一 直 争 论 不 休 . 高 速 大 风 作 为 空气 
动力 学 的 原因 造成 了 垂直 振动 , 使 大 桥 像 机 术 一 样 动作 . 但 是 大 桥 整 体 并 非 因为 严 
格 的 垂直 运动 而 处 于 危险 之 中 . 问题 是 , 扭转 振动 是 如 何 产 生 的 . 

实例 检验 6.4 节 后 的 实例 检验 6 中 提出 了 一 个 微分 方程 模型 , CRR T 
振动 的 可 能 的 作用 原理 . 


微分 方程 是 含有 导数 的 方程 . 一 阶 微分 方程 


y(t) = f(t,y(t)) 


RRA y 关于 目前 时 间 和 当前 的 量 值 的 改变 率 . 微分 方程 组 用 于 建 模 、 推断 和 预测 
随时 间 而 改变 的 系统 . 

大 量 有 趣 的 方程 没有 封闭 形式 的 解 , 只 能 求助 于 近似 解 . 本 章 涉及 借助 计算 方 
法 的 常 微分 方程 的 近似 解 . 引入 微分 方程 的 概念 后 , 我 们 要 详细 地 叙述 和 分 析 Euler 
方法 . 尽管 Euler 方法 太 简单 , 在 应 用 并 不 大 量 使 用 , 但 是 它 是 有 关键 性 意义 的 , 因 
为 这 个 主题 的 许多 重要 结果 都 能 够 从 它 非常 简单 的 来 龙 去 脉 中 容易 地 去 理解 . 

随后 是 更 复杂 的 高 级 方法 , 并 且 讨论 了 有 趣 的 微分 方程 组 的 例子 . 为 了 有 效 地 
求解 , 变 步 长 是 重要 的 , 并 且 对 于 刚性 问题 而 言 还 需要 用 特殊 的 方法 . 本 章 结束 时 
将 介绍 隐 式 方法 和 多 步 方法 . 


6.1 初 值 问 题 


许多 对 自然 现象 成 功 建 模 的 物理 定律 都 是 以 微分 方程 的 形式 给 出 的 .牛顿 把 
他 的 运动 定律 写成 形式 F = ma, 它 就 把 作用 于 物体 的 合力 和 该 物体 的 加 速度 联系 
了 起 来 . 这 里 的 加 速度 是 位 移 的 二 阶 导数 . 事实 上 , 牛顿 定律 的 假定 以 及 需要 将 它 
们 写成 微 积分 形式 的 基础 的 发 展 , 构成 了 科学 史 中 非 常 重要 的 革命 的 一 部 分 . 
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一 个 称 为 逻辑 斯 谤 方程 (logistic equation) 的 简单 模型 把 某 种 生物 种 群 的 总 数 
的 变化 率 建 模 为 
y =ay(1—y), (6.1) 


这 里 y 表示 关于 时 间 t 的 导数 . 如 果 把 y 理解 成 总 数 关 于 这 种 动物 生活 环境 的 承 
载 能 力 的 比例 , 那么 我 们 预期 y 增长 到 接近 这 种 承载 能 力 后 达到 平衡 .微分 方程 
(6.1) 说 明 变 化 率 y 与 当前 的 总 数 与 “剩余 的 承载 能 力 ”1 -y 的 乘积 成 比例 . At, 
无 论 当 总 数 小 (y 接近 0) 时 还 是 当 总 数 接近 承载 能 力 (y 接近 1) 时 , 变化 率 都 是 小 
的 . 

常 微分 方程 (6.1) 一 般 情况 下 具有 无 穷 多 解 . 通过 给 定 初始 条 件 , 可 以 在 无 穷 
多 的 解 中 确定 我 们 感 兴趣 的 那 一 个 解 (6.12 节 将 更 精确 地 阐述 存在 性 和 唯一 性 ). 一 
阶 常 微分 方程 初 值 问题 是 求解 在 指定 的 区 间 a < t < 上 给 定 初始 条 件 的 方程 


y =f (ty), 
y(2) = ya, (6.2) 
t € [a,b]. 

像 在 图 6-1a 中 一 样 ， 把 微分 方程 想象 成 一 个 斜 度 场 是 有 益 的 ， 可 以 把 微分 
方程 (6.1) 看 成 对 (t,y) 的 任 一 当前 值 确定 一 个 斜 度 . 假如 我 们 使 用 箭头 画 出 
在 妃 平 面 上 的 每 一 点 处 的 斜 度 , 那么 就 得 到 了 微分 方程 的 斜 度 场 (slope field) 或 者 
方向 场 (direction field)， 若 方程 的 右 端 f(t,y) 不 依赖 于 t， 则 这 种 方程 是 自控 的 
(autonomous). 这 在 图 6-1 中 是 显然 的 . 


图 6-1 BRAT: (a) 自控 方程 的 定义 , 方向 场 沿 y 方向 变化 ， 
但 是 对 所 有 的 t 是 常数 ; (b) 微分 方程 的 两 个 解 


当 在 方向 场 中 给 定 一 个 初始 条 件 , 就 能 从 无 穷 多 个 解 中 识别 出 一 个 解 来 . 在 图 
6-lb 中 , 画 出 了 分 别 开 始 于 初 值 y(0) = 0.2 及 y(0) = 1.4 的 两 个 不 同 的 解 . 
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方程 (6.1) 有 一 个 能 表示 成 初等 函数 的 解 . 只 要 初始 条 件 yo A 1, 通过 微分 和 


代入 , 就 可 以 验证 i 


t) =1- —z 
MO =~ Tt 


y =ay(1—y), 

y(0) = yo, (6.4) 
te [0,7] 

的 解 , 该 解 沿 着 图 6-lb 中 的 箭头 . 当 yo = 1 时 , 解 就 是 y(t) = 1, 它 也 能 用 同样 的 

方法 得 到 验证 . 


6.1.1 Euler 方法 


逻辑 斯 谤 方程 有 一 个 显 式 、 相 当 简 单 的 解 ， 更 一 般 的 情形 是 微分 方程 并 不 具 
有 显 式 解 . 图 6-1 中 的 几何 形状 提示 了 一 种 交错 逼近 : 通过 沿 着 箭头 来 计算 地 “ 求 
解 ”微分 方程 . 从 初始 条 件 (to,yo) 开始 , 然后 沿 着 那里 确定 的 方向 ; 在 短 距离 移动 
后 , 重新 计算 在 新 的 点 (t1,y) 处 的 斜率 ; 按 新 的 斜率 继续 向 前 移动 , 并 且 重复 这 个 
过 程 . 这 个 过 程 将 产生 一 些 误差 , 这 是 因为 在 斜率 的 计算 中 , 不 是 沿 着 完全 精确 的 
斜 度 移动 . 但 是 , 如 果 斜 率 变化 较 慢 , 我 们 就 能 得 到 初 值 问 题解 的 一 个 相当 好 的 近 


(6.3) 


是 初 值 问题 


例 6.1 ” 画 出 以 下 初 值 问 题 的 方向 场 : 


y=tyt+ 8, 
y(0) = yo, (6.5) 
te (0,1). 


图 6-20 表示 了 其 方向 场 . 在 平面 上 的 每 一 点 (ty) 处 , 画 出 斜率 等 于 ty +y? 
的 箭头 . 因为 t 明显 地 出 现在 方程 的 右 端 , 所 以 这 个 初 值 问题 是 非 自控 的 . 从 方向 
场 也 很 清楚 地 看 到 ， 它 随 着 上 和 y 的 不 同 而 变化 . 在 初始 条 件 y(0) = 1 时 ， A 
y(t) = 3e — t? — 2 在 图 6-2b 给 出 . 显 式 解 的 推导 可 见 例 6.6. 

图 6-2b 说 明 一 种 沿 着 方向 场 进行 计算 的 方法 的 执行 过 程 . 这 种 方法 称 为 eal 
方法 . 开始 沿 着 t 轴 以 等 步 长 h 给 定 n+ DA 


to < tı <ta <- < 如 
在 图 6-2b 中 , 我 们 选取 t 的 值 为 


to=0.0, t:=0.2, t2=0.4, t3=0.6, t4=0.8, ts =1.0 (6.6) 
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其 步 长 h = 0.2. 


7 
7 
4 
z 
z 
和 
? 
5 
7 
z 
并 
2 
z 
a 
a 
2 
2 
a 


(a) 
图 6-2” 初 值 问 题 (6.5) 的 解 : (a) 随时 间 t 变化 的 非 自控 方程 的 方向 场 ， 
给 出 的 解 满足 y(0) = 1; (b) 取 步 长 h = 0.2, 对 方程 应 用 Euler 

方法 


开始 取 wo = yo, 在 每 一 个 去 处 沿 着 方向 场 得 到 tig 处 的 近似 
wisn = wi + hf (ti, wi), 


这 是 因为 f(ti,wi) 表示 解 的 斜率 . 注意 y 的 改变 等 于 水 平 距离 h RUR. 如 图 
6-2b 所 示 , 每 一 个 wi 是 解 在 ti 处 的 近似 . 

这 种 方法 的 公式 可 以 表示 如 下 : 
Euler 方法 

Wo = Yo; 7) 
Wig, = wi + hf (ti, wi). 
例 6.2 FA Euler 方法 解 初 值 问题 (6.5). 初始 条 件 yo = 1. 
微分 方程 的 右 端 f(t,y) = ty +y. 因此 ,Euler 方法 便 是 迭代 
wo = 1, 

Wit1 = wi + h(tiwi + #3). E9 

采用 步 长 h = 0.2 的 网 格 (6.6), 从 公式 (6.8) 迭代 计算 近似 解 . 由 Euler 方法 
给 出 的 wi 值 画 在 图 6-2b 中 . X 6-1 给 出 wi 与 准确 值 y; 的 比较 , 也 给 出 了 每 一 步 
的 误差 e; = |y; — wil. 尽管 最 大 误差 最 终 并 不 总 是 能 求 出 , 但 是 误差 将 从 初始 条 件 
处 的 0 增 大 到 区 间 端 点 处 的 最 大 值 . 
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使 用 步 长 h = 0.1 的 Euler 方法 使 误差 减 小 , 正如 在 图 6-3a 中 看 到 的 那样 . 再 
用 (6.8), 计算 得 到 表 6-2. 


表 61 
BR ti wi Yi ei 

0 0.0 1.0000 1.000 0 0.000 0 

1 0.2 1.000 0 1.020 6 0.020 6 

2 0.4 1.041 6 1.089 9 0.048 3 

3 0.6 1.1377 1.2317 0.093 9 

4 0.8 1.317 5 1.491 4 0.173 9 

5 1.0 1.630 6 1.946 2 0.315 5 

表 6-2 
步骤 ti wi Yi ei 

0 0.0 1.0000 1.000 0 0.000 0 

1 0.1 1.000 0 1.005 0 0.005 0 

2 0.2 1.010 1 1.020 6 0.010 5 

3 0.3 1.031 1 1.048 1 0.017 0 

4 0.4 1.064 7 1.089 9 0.025 1 

5 0.5 1.113 7 1.149 4 0.035 7 

6 0.6 1.181 9 1.2317 0.049 7 

iF 0.7 1.274 4 1.342 9 0.068 4 

8 0.8 1.397 9 1.491 4 0.093 4 

9 0.9 1.561 0 1.687 9 0.126 9 

10 1.0 1.774 4 1.946 2 0.171 8 

把 对 h = 0.1 进行 计算 得 到 的 误差 elo 与 对 h = 0.2 计算 得 到 的 误差 es 进行 比较 . 
注意 步 长 h 减 半 的 结果 使 在 t = 1.0 处 的 误差 大 约 也 减 小 了 一 半 . < 
Y 
2 2| 
1 1 
>t 


uf 


(a) (b) 
图 6-3 ”用 于 初 值 问题 (6.5) 的 Euler 方法 : 除 步 长 外 , 确 如 在 图 6-2 中 
那样 , 这 里 的 箭头 表示 Euler H. (a) 10 H, h = 0.1; (b) 20 
Hh = 0.05 
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在 下 面 的 MATLAB code 中 实现 Euler 方法 , 它 被 写成 3 个 模块 . 绘图 程序 调 
用 了 执行 每 一 Euler 步 的 子 程序 , 而 Euler 步 本 身 又 调用 了 包含 微分 方程 右 端 了 的 
函数 . 使 用 此 形式 , 以 后 既 容 易 把 右 端 交换 成 另 一 个 微分 方程 , 又 可 把 Euler 方法 
交换 成 更 一 种 更 复杂 的 方法 . 下 面 就 是 代码 . 


%Program 6.1 Euler's Method for Solving Initial Value Problems 
%Use with ydot.m to evaluate rhs of differential equation 
% Input: interval [a,b], initial value y0, step size h 
% Output: time steps t, solution y 
% Example usage: euler([0 1],1,0.1); 
function [t,y]=euler(int,y0,h) 
t(1)sint (1); y(1)=y0; 
n=round ( (int (2)-int(1))/h); 
for i=l:n 
t(i+1)=t (i) +h; 
y(i+1)seulerstep(t(i),y(i),h); 
end 
plot (t,y) 


function y=eulerstep(t,y,h) 

tone step of Euler's Method 

‘Input: current time t, current value y, stepsize h 
*Output: approximate solution value at time t+h 
y=y+h*ydot (t,y); 


function z=ydot (t,y) 
z=t*y+t^3; 


TE t =1 4b, 把 (6.5) 的 Euler 方法 近似 解 与 精确 解 进行 比较 , 并 把 以 前 的 结果 
从 n=5 和 n=10 扩大 , 便 得 到 表 6-3. 


表 6-3 
Sin 步 长 h 在 t= 1 处 的 误差 

5 0.200 00 0.315 5 

10 0.100 00 0.1718 

20 0.050 00 0.089 9 

40 0.025 00 0.046 0 

80 0.012 50 0.023 3 

160 0.006 25 0.011 7 
320 0.003 12 0.005 9 
640 0.001 57 0.002 9 


在 表 6-3. E 6-3 和 图 6-4 中 , 有 两 个 明显 的 事实 . 首先 是 误差 非 零 . 由 于 Euler 
方法 取 的 步 数 不 是 无 穷 小 , 斜率 沿 着 每 一 步 而 变化 , 并 且 近 似 解 并 不 精确 地 落 在 解 
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曲线 上 . 其 次 是 误差 随 着 步 长 的 减 小 而 减 小 , 如 在 图 6-3 看 到 的 . 从 表 6-3 中 可 看 
到 误差 与 h 成 比例 , 这 一 事实 将 在 下 一 节 中 得 到 证 实 . 


1 


0.001 
0.001 0.01 0.1 1 
BEA 
图 6-4 ”作为 Buler 方法 的 步 长 函数 的 误差 : 在 双 对 数 坐 标 图 中 , 在 + = 1 
处 (6.5) 的 近似 解 与 准确 解 的 差 的 斜率 为 1. 因此 , 对 于 小 的 h, 


误差 正比 于 步 长 h 
例 6.3 ”对 初 值 问题 

Vy =, 
y(0) = yo, (6.9) 
te (0,1), 

寻找 其 Euler 方法 的 公式 

对 于 f(t, y) = cy, 这 里 c 是 常数 ,Euler 方法 给 出 
wo = Yo, 


Wit1 = w; + hewi = (1+ he)wi, $= 1,2,3,... | 


用 分 离 变量 (separation of variable) 法 可 以 求 得 方程 y = cy 的 精确 解 ， 假 定 
y #0, 两 边 除 以 y, 分 离 变 量 , 再 积分 : 


W a, 
y 


In|y| = ct + k, 


ly] = etk = ekect. 


初始 条 件 y(0) = yo 意味 着 y = yor". 
就 这 种 简单 情形 , 可 以 证 明 当 步 数 n 一 oo 时 , Euler 方法 的 近似 解 收敛 于 准确 


解 . 注意 到 
wi = (1 + he)wi—ı = (1 + he)?uj_2 = +++ = (1+ he) wo. 
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对 固定 的 十 置 步 长 h(n 是 整数 ), 于 是 在 t 处 的 近似 值 是 


a” 
Wn = (1 + he)” yo = (1+2) yo- 


n 
lim ( + 2) =e* 
人 一 oo n 


这 就 证 明了 当 n 一 oo 时 , Euler 公式 的 近似 解 收敛 于 准确 解 . 
6.1.2 ” 解 的 存在 性 、 唯一 性 和 连续 性 


本 节 提 供 计 算 初 值 问题 方法 的 某 些 理论 基础 . 在 开始 计算 一 个 问题 的 解 之 前 ， 
了 解 以 下 两 点 是 有 帮助 的 : (1) 解 存 在 ; (2) 仅 有 一 个 解 . 因此 算法 不 会 因 计算 哪 一 
个 解 而 混淆 . 在 适当 情形 下 , 初 值 问题 愉 有 一 解 . 

定义 6.1 假定 存在 常数 L(MALIipschitz BM), 使 得 函数 f(t,y) 对 S= 
[a,b] x [ys yo] 中 的 任意 (t y), (t, yo) 都 有 


[f(t,y1) — F(t y2)| < Llyr — val, 


则 称 函 数 f(t, y) AH S 中 关于 变量 y 满足 Lipschitz 条 件 . 

一 个 关于 y WA Lipschitz 条 件 的 函数 关于 y 是 连续 的 , 但 未 必 可 微 . 

例 6.4 对 (6.5) 式 中 的 右 端 f(t,y) = ty +t3, R Lipschitz 常数 . 

在 集合 0 < t < 1-0 < y < co E, 函数 f(t,y) = ty 十 如 关于 变量 y 满足 
Lipschitz 条 件 . 检查 发 现 


(f(t, ys) — F(t y) = lty — tyal < ltllys — yal < [ys — val (6.10) 


在 上 述 集合 内 成 立 . 于 是 Lipschitz WH L = 1. 

尽管 定义 6.1 强调 集合 S 是 矩形 , 但 是 更 一 般 地 , S 可 以 是 一 个 凸 集 ， 即 能 包 
含 联结 该 集合 内 任意 两 点 的 线段 的 集合 . 假如 函数 f 关于 变量 y 连续 可 微 , 偏 导数 
SL 的 绝对 值 的 最 大 值 就 是 Lipschitz 常数 . 根据 中 值 定理 , 对 每 一 个 固定 的 也 在 yi 
与 ya 之 间 的 存 c, 使 得 


古典 的 极限 公式 告诉 我 们 ， 


fm) — F(t ya) _ Bette) 
Yi — Y2 
因此 , L 可 取 为 E (t o| 在 该 集合 内 的 最 大 值 . 
Lipschitz 假设 保证 了 初 值 问题 解 的 存在 性 和 唯一 性 . 定理 6.2 的 证 明 可 参考 
[3]. 
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定理 6.2 ”在 集合 [ab x ly. yo] 上 , # f(t,y) 关于 变量 y 满足 Lipschitz 条 
件 , 那么 在 a 和 日 之 间 存 在 c 使 得 初 值 问题 


y = f(t,y), 
y(a) = ya, (6.11) 
te [a,c] 
只 有 一 个 解 y(t), 而 且 , 如 果 f 在 [a,b] x (—00,00) 上 是 Lipschitz 型 的 , MAAR 
间 [a,b] 上 只 存在 一 个 解 . 

理解 定理 6.2 的 保留 条 件 (fine print) 是 重要 的 , 特别 是 想 要 数值 计算 这 个 解 
时 ， 初 值 问 题 在 [a,b] x [yy] 上 满足 Lipschitz 条 件 这 一 事实 并 不 保证 在 整个 区 
[a,b] 上 对 于 t 有 一 个 解 . 简单 的 理由 是 解 可 能 偏离 到 y AVI [yn yo) 之 外 , 而 
Lipschitz 常数 在 (ys, yo) 上 有 效 . 我 们 能 够 说 的 最 好 结果 是 在 某 个 较 短 的 区 间 [a, d] 
存在 解 . 下 面 的 例子 阐述 了 这 一 点 . 

例 6.5 ”在 哪个 区 间 (0, c] 上 , 下 列 初 值 问题 有 唯一 解 ? 


y=, 
y(0)=1, (6.12) 
t € [0,2]. 


IRF y 的 偏 导数 是 2y. 在 集合 0 <t < 2,-10 < y < 10 中 ,Lipshcitz 常数 
max |2y| = 20. 定理 6.2 保证 解 从 t= 0 开始 , 并 存在 于 某 个 区 间 [a,cj(c > 0) 上 ,但 
是 并 不 保证 解 在 整个 区 间 [0,2] 上 . 

事实 上 , 通过 分 离 变 量 可 求 得 微分 方程 (6.12) 的 唯一 解 是 y(t) = 2. AtA 
于 1 时 , 这 个 解 趋 于 无 穷 . 换言之 , 对 任意 的 0 < ec < 1 解 存在 于 区 间 0< t< c 但 
是 对 于 更 大 的 c 解 并 不 存在 . 这 个 例子 说 明了 定理 6.2 中 c 的 作用 . Lipschitz 常 
数 20 对 ly| < 10 ARM, 但 是 在 t 到 达 2 之 前 , My 已 超出 了 10. < 


亮点 ”条 件 作用 

在 第 1 章 和 第 2 章 中 , 我 们 把 误差 的 放大 详 述 为 量化 输入 信息 的 微 
小 改变 或 误差 对 解 的 影响 的 一 种 方法 . 定理 6.3 对 初 值 问题 的 这 一 类 似 问 
题 作 出 了 细致 的 回答 . 当初 始 条 件 (输入 信息 )Y(a) 改变 成 Z(a),t 时 间 单 
位 后 , 输出 的 最 大 可 能 改变 (t) - Z(t), 关于 t 是 指数 型 的 而 关于 初始 条 
件 的 差 是 线性 的 . 后 者 意味 着 , 对 固定 的 时 间 t, 我 们 能 够 说 “条 件数 ”等 
于 eb(t-a) . 


定理 6.3 说 明了 常 微 分 方程 的 稳定 性 (误差 的 放大 ) 的 基本 情形 . 假如 对 于 微 
分 方程 右 端 而 言 存 在 Lipschitz 常数 , 那么 以 后 的 解 是 带 有 新 的 Lipschitz 常数 的 关 
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于 初 值 的 Lipschitz 函数 , 这 个 新 的 Lipschitz 常数 是 原来 的 那个 (Lipschitz 常数 ) 
的 指数 函数 . 这 是 Gronwall 不 等 式 的 一 种 形式 . 

定理 6.3 Æ S= [a,b] x [ny] 上 , # f(t,y) 关于 变量 y 是 Lipschitz HH. 
又 假设 Y(t) 和 Z(t) 是 微分 方程 


y = f(t,y) 
在 3 中 的 分 别 满足 初始 条 件 Y(a) 和 Zla) 的 两 个 解 , 那么 
IY) — Z()| < ece-olY(o) ~ Z(a)}. (6.13) 


证 如 果 Y(a) = Za), 则 根据 唯一 性 ,Y(t) = Z(t), 那么 (6.13) 显然 满足 .我 
们 再 假设 Y(a) A Z(a), 为 了 避免 与 唯一 性 矛盾 , 此 时 Y(t) A Z(t) 对 区 间 中 所 有 的 
t 都 成 立 . 

RA ult) =¥(t)— Z(t). 由 于 ult) 或 者 严格 为 正 或 者 严格 为 负 ， 又 因为 (6.13) 
仅 与 |u| HK, 所 以 可 以 假设 u > 0. 于 是 u(a) 二 Y(a) 一 2Z(a), 而 且 其 导数 u(t) = 
Y(t) — Z'(t) = f(t, Y(t) — f(t, Z(t)). Lipschitz 条 件 意味 着 


Ww =|f(Y) — f(t,Z)| < LIY (t) — 2()| = Llu(t)| = Lult). 
因此 , (nuy =“ < L. 根据 中 值 定理 得 到 


In u(t) — Inu(a) <L 
t-a a 
这 可 简化 为 
in ue < L(t—a),u(t) < u(aeXt-*), 
这 就 是 所 要 的 结果 . 
回 到 例题 6.4, 定理 6.3 意味 着 开始 于 不 同 初 值 的 两 个 解 Y(t) 和 Z(t), 绝 不 
会 比 乘积 因子 et(0 < t < 1) 分 离 得 更 快 ， 事 实 上 , WH Yo 处 的 解 是 Y(t) = 
(2+ Yoje — 0? — 2, 所 以 上 述 两 个 解 的 差 是 


[Y(t) — ZO|<|(2 + Yo)e /2 — t? — 2 — (2+ Zo)e/? — #? — 2) 


6.14 
<|¥o ~ Zolet’/?, K 


它 小 于 [Yo — Zole (0 < t < 1), 恰 如 定理 6.3 所 示 . 
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6.1.3 ”一 阶 线性 方程 


一 类 特殊 的 容易 求解 的 常 微分 方程 提供 了 一 类 可 以 说 明 问题 的 例子 ， 它 们 是 
BRAT y 是 线性 的 一 阶 方程 . 考虑 初 值 问题 


y = g(t)y + h(t), 
yla) = ya, (6.15) 
t € [a,b]. 
首先 注意 , 如 果 g(t) 在 [a,b] 上 连续 , 则 由 定理 6.2, W L= max g(t) A Lipschitz 常 
数 , 方程 存在 唯一 解 . 通过 把 方程 乘 以 “积分 因子 ” 这 种 技巧 , 可 以 求 出 方程 的 解 . 
积分 因子 是 e- Js(9d:. 用 它 乘 以 方程 两 边 , 得 到 
(y! — g(t)y) — e7 Fatt =e J 98th (2), 
(ye J 9¢dty’ —e~ f Hdt h(t), 


yen J (tat = fez tooien, 


解 得 
y(t) = ef sd Jes ath (t)dt. (6.16) 
如 果 积 分 因子 能 简单 地 表示 出 来 , 用 这 种 方法 就 能 得 到 一 阶 线性 方程 (6.15) 的 显 
式 解 . 
例 6.6 ”求解 一 阶 线性 微分 方程 
l En 3 
Sanda (6.17) 
y(0) = yo. 
积分 因子 是 
en Soltdt e-t., 
根据 (6.16), 解 是 


y(t) =e eu =ef fe euan 
2 
=2eF 上- 和 一 er 号 +c] =t? 24+ 20e, 


这 里 进行 了 变量 代 换 w = 气 ， 求 解 积分 常数 C, 得 到 yo = -2+ 20, 所 以 C = 
(2+ yo)/2. 因此 


y(t) = (2+ ye — 2-2. < 
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习题 6.1 


1. 


2. 


证 明 函数 y(t) = tsint 是 以 下 微分 方程 的 解 : 

(a). y +t? cost =ty’; (b) y” =2cost—y; (c) t(y” +y) = 2y’ —2sint. 
证 明 函 数 y(t) = 1t 是 以 下 初 值 问题 的 解 : 

(a) y' = ycost,y(0)=1; (b) y” = (cost)y’ — (sin t)y, y(0) = 1,y/(0) = 1; 
(c) y” = y(1 —Iny) — (ny)?), y(n) = 1,y'(x) = -1. 


.给 定 y(0) = 1, 用 分 离 变 量 法 求 以 下 微分 方程 初 值 问题 的 解 : 


(a) y'=t; (b)y'=ty; (c) y =2(t+1)y; 
BP 


(a) y'=5t'y; (e) y= zi Orsi 


.给 定 y(0) = 0, 求 以 下 一 阶 线性 微分 方程 初 值 问题 的 解 : 


(a) y'=t+y; (b)y'=t-y; (c) y’ =4t-2y. 


» MAK h = 7, 把 Euer 方法 用 于 习题 3, 在 区 间 [0,1] 上 解 初 值 问题 . 列 出 wi,i = 


0, 1,+++ ,4, 并 且 通 过 与 准确 解 比 较 , RE t = 1 处 的 误差 . 


， 取 步 长 h = į, 把 Euler 方法 用 于 习题 4, 在 区 间 [0, 1] 上 解 初 值 问题 . 通过 与 准确 解 比 


BL, RE t= 1 处 的 误差. 


, 定理 6.2 保证 在 [0,1] 上 的 这 些 初 值 问题 中 哪些 存在 唯一 解 ? 如 果 Lipschitz 常数 存在 ， 


把 它们 求 出 来 .(a) y’ = t, (b) y'= y, (c) y' = -y, (d) y’ = -如 . 


， 夯 出 习题 7 中 微分 方程 的 方向 场 , 并 且 画 出 开始 于 初始 条 件 y(0) = 1, y(0) = 0 及 y(0) = 


一 1 的 解 的 近似 值 的 草图 . 


, 求 习题 7 中 初 值 问题 的 解 . 对 每 个 方程 使 用 习题 7 中 的 Lipschitz 常数 , 假如 可 能 的 话 ， 


证 明 对 于 带 有 初始 条 件 y(0) = 0 及 y(0) = 1 的 两 个 解 , 满足 定理 6.3 中 的 不 等 式 . 


，(a) 假如 a #0, 证 明 初 值 问题 y = ay+b,y(0) = yo 的 解 是 y(t) = (È) (es — 1) + yor, 


(b) 证 明 分 别 带 有 初 值 yo 及 zo 的 解 y(t), z(t) 满足 定理 3 中 的 不 等 式 . 


， 用 分 离 变 量 法 解 初 值 问题 y = y?,y(0) = 1. 
12. 


求 初 值 问题 y/ = ty, y(0) = 1 的 解 . 解 存在 的 最 大 区 间 [0,5) 是 什么 ? 


计算 机 问题 6.1 


1. 


2. 


3. 


在 [0,1] 上 , 取 步 长 h = 0.1, 对 习题 3 中 的 初 值 问题 , 用 Euler 方法 求解 ， 打 印 出 t 
值 、Euler 近似 解 及 每 一 步 的 误差 与 准确 解 的 差 ). 

取 步 长 h = 0.1,0.05,0.025, 画 出 习题 3 在 [0,1] 中 的 初 值 问题 的 Euler 方法 近似 解 和 真 
解 . 
取 步 长 h = 0.1, 0.05,0.025, 画 出 习题 4 在 [0,1] 中 的 初 值 问题 的 Euler 方法 近似 解 和 真 
解 


.对 习题 3 中 的 初 值 问题 , 把 Euler 方法 在 t = 1 处 的 误差 画作 h = 0.1 x 2*(0 < k < 5) 


的 函数 . 使 用 图 6-4 中 的 双 对 数 坐 标 图 . 


.对 习题 4 中 的 初 值 问题 , 把 Euler 方法 在 t = 1 处 误差 画作 疡 = 0.1 x 2k(0 < k < 5) 的 


函数 . 


6.2 初 值 问题 解法 分 析 273 


6.2 ” 初 值 问题 解法 分 析 


图 6-4 表明 , 对 习题 6.1, Euler 方法 近似 解 的 误差 随 着 步 长 的 递减 而 一 致 递减 . 
这 在 一 般 情 况 下 都 正确 吗 ?可 以 通过 减 小 步 长 使 误差 小 到 我 们 所 想 的 那样 吗 ? 仔 


细 研 究 Euler 方法 的 误差 将 说 明 在 一 般 情 况 下 初 值 问题 解法 的 结果 . 
6.2.1 局 部 截断 误差 和 整体 截断 误差 
图 6-5 给 出 了 在 解 形 如 
y = f(t,y), 
yla) = ya, 


t € [a,b] 
的 初 值 问 题 时 , 像 Euler 方法 那样 的 解法 的 一 步 示 意图 . 


h tizi 
图 6-5 ” 常 微分 方程 解法 的 一 步 . Euler 方法 在 当前 点 按 向 量 场 的 斜率 沿 
着 直线 段 到 下 一 个 点 (tit1,wit1). 上 边 的 曲线 代表 微分 方程 的 
真 解 .整体 截断 误差 gi+1 是 局 部 截断 误差 ei+1 以 及 以 前 各 步 
积累 和 放大 的 误差 之 和 


(6.18) 


在 第 i 步 , 以 前 各 步 积 累 的 误差 被 一 起 携带 甚至 会 被 放大 , 而 来 自 Euler 近似 
的 新 误差 还 要 加 上 . 为 了 更 精确 地 阐述 , 定义 整体 截断 误差 (global truncation error) 


gi = |wi — yil 


是 常 微分 方程 解法 ( 璧 如 Euler 方法 ) 近似 解 和 初 值 问题 准确 解 之 间 的 差 . 同样 , 定 


义 局 部 截断 误差 (local truncation error), 或 一 步 误差 为 
eit = |wit1 — Z(ti+1)|, 


它 是 在 区 间 上 解 的 值 和 “一 步 初 值 问题 ” 


y = f(t,y), 
y(ti) = wi, 


tE lti,ti+1] 


(6.19) 


(6.20) 
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的 准确 解 之 间 的 差 . 

(我 们 称 解 为 z, 是 因为 y 已 用 来 作为 开始 于 准确 的 初始 条 件 y(t) = ys 的 同样 
的 初 值 问题 的 解 )， 局 部 截断 误差 是 一 步 中 出 现 的 误差 , 这 一 步 是 把 前 面 解 的 近似 
值 w; 作为 出 发 点 . 整体 截断 误差 是 由 前 面 i 步 积 累 起 来 的 误差 . 图 6-5 说 明了 局 
部 截断 误差 和 整体 截断 误差 .. 每 一 步 新 的 整体 误差 是 以 前 各 步 放大 了 的 整体 误差 
和 新 的 局 部 误差 的 结合 . 因为 放大 , 所 以 整体 误差 不 仅仅 是 局 部 误差 之 和 . 

例 6.7 K Euler 方法 的 局 部 截断 误差 . 

按照 定义 , 这 是 Euler 方法 在 一 步 产 生 的 新 误差 . 假定 前 面 步 wi 是 准确 的 , 准 
确 地 解 出 初 值 问题 (6.20), 并 把 准确 解 y(ti+1) 与 Euler 方法 近似 解 比较 . 

假设 % 连续 , 在 tizi = ti + h 处 的 准确 解 是 


2 
vite +h) = y(t) + Ay) + EO. 


根据 Taylor EM, 上 式 对 某 个 未 知 的 c(t < c < tiy) RIL. AW y(ti) = wi 及 
y'(ti) = f(ti,wi), 所 以 上 式 可 以 写成 


h? 
Ytit1) = wi + hf (ti, wi) + TY (oO). 


同时 ,Euler 方法 表明 
Wit1 = wi + hf (ti, wi). 


Fisk AA ART RE 
2 
er = was — ylti) = ÉO, 


它 对 区 间 中 的 某 个 c 成 立 . 假设 M 是 y" 在 [a,b] 上 的 上 界 , 那么 局 部 截断 误差 满 
足 

ei S ada < 

现在 研究 局 部 误差 如 何 加 到 整体 误差 上 去 . 在 初始 条 件 y(a) = ya 处 , 整体 误 

差 是 go = lwo — yol = lw 一 yal = 0. 一 步 之 后 , 以 前 的 步 没 有 积累 误差 , 因此 , 整体 
误差 等 于 第 一 个 局 部 误差 ,9 = el = |u -nl 两 步 之 后 , go 分 解 成 局 部 截断 误差 
加 上 来 自 以 前 步 中 积累 的 误差 , 如 在 图 6-5 中 所 示 . 定义 z(t) 是 初 值 问题 

vy =f), 

ylti) = w, (6.21) 

t € [t1,t2] 
的 解 ， 因 此 z(tz) 是 开始 于 初始 条 件 (th, wi) 的 解 的 准确 值 . 注意 到 , 假如 用 初始 
SAE toun) 我 们 将 会 得 到 y, 它 不 同 于 z(to), 因为 它 落 在 实际 的 解 曲线 上 . 于 是 
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ea = [we 一 z(tz)| EE i = 2 步 的 局 部 截断 误差. 另 一 个 差 |z(to) — yo] 由 定理 6.3 解 
F, 这 是 因为 它 是 相同 微分 方程 带 有 不 同 初始 条 件 wr. 和 gi 的 两 个 解 的 差 . 因此 


= |wa — ya| = |we — z(t2) + z(t2) — yal 
< [we — z(t2)| + |z(t2) — yal 


和 ea 十 erhgl = e2+elte. 
对 ;= 3 步 , 同上 可 得 
93 = |wa — ys| < es + e”"go < es 十 elhez 十 e2rhel. (6.22) 


同样 , 在 i 步 的 整体 截断 误差 满足 


2Lh 


= |wi — yil etelte tee s+...+e dhe. (6.23) 


在 例 6.7 H, 我 们 得 到 Euler 方法 有 正比 于 h? 的 局 部 截断 误差 . 更 一 般 地 , 若 局 部 
截断 误差 


ei < Chet? 
对 某 个 整数 上 及 常数 C > 0 成 立 , 那么 


iLh _ 
gi < Chkt1(1 + eth +--+ e-D1h) = Chet 1 


ih] 
了 er(t-a) 一 1 _ cnt 有 (6.24) 
Lh 


<Ch*+ =e i—a) — 1), 


注意 局 部 截断 误差 是 如 何 NS 对 某 个 k, 局 部 截断 误差 
正比 于 h*+1. 粗略 地 讲 , 整体 截断 误差 把 许多 步 的 局 部 截断 误差 加 在 一 起 , 而 步 数 
正比 于 a, 即 步 长 的 倒数 . 因此 , 整体 截断 误差 正比 于 h. 这 是 前 面 计算 的 主要 
结论 , 如 定理 6.4 所 述 . 

定理 6.4 # f(t,y) AFRE y 有 Lipschitz 常数 L, 并 且 初 值 问题 (6.2) 在 
ti 处 的 解 的 值 Wi 用 wi 来 近似 ,wi 来 自 局 部 截断 误差 ei SCA 的 单 步 常 微分 方 
程 解法 , 其 中 C 是 某 个 常数 人 > 0. 那么 , 对 每 个 a < ty < b, 这 个 解法 有 整体 截断 
误差 


hk 
= jwi = wl < FE (ete) — a), (6.25) 


亮点 “收敛 性 
定理 6.4 是 关于 单 步 微分 方程 解法 的 收敛 性 的 主要 定理 , 整体 误差 对 
h 的 依赖 性 表明 , 我 们 能 够 期 望 当 h 减 小 时 , 误差 也 减 小 , 因此 (至 少 在 确 
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定 的 算法 中 ) 误差 可 以 如 我 们 所 希望 的 那样 小 . 这 就 把 我 们 带 到 另 一 个 重 
点 : 整体 误差 关于 h 的 指数 型 依赖 . 当时 间 增 长 时 , 整体 误差 界 可 能 变 得 
非常 大 . 对 于 大 的 ti 为 了 使 整体 误差 小 , 导致 所 需要 的 步 长 h 可 能 太 小 
而 实际 上 难以 做 到 . 


4 一 0 时, 若 常 微分 方程 的 解法 满足 (6.25), 就 说 这 种 方法 具有 k 阶 (order). 
例 6.7 说 明 Euler 方法 的 局 部 截断 误差 的 大 小 以 M 为 上 界 , 所 以 Euler 方法 的 
阶 是 1. 对 Euler 方法 情形 的 定理 重新 叙述 就 给 出 以 下 推论 : 

推论 6.5(Euler 方法 的 收敛 性 ) it f(t,y) 对 变量 y 有 Lipschitz 常数 L, 初 
值 问 题 (6.2) Æ ti 处 的 解 yi 用 Euler 方法 被 wi 所 近似 . 令 M 是 | 凡人 | 在 [a,b] 
的 一 个 上 界 . 那么 


Mh 
lw — yil < ape -1). (6.26) 


例 6.8 RAPS 6.1 的 Euler 方法 的 误差 界 . 

[0,1] 上 的 Lipschitz 常数 是 L = 1, 既然 解 y(t) = 3e - 2 — 2 是 已 知 的 ， 
那么 它 的 二 阶 导数 确定 为 yt) = (P + 2eF — 2, CE [0,1] 上 绝对 值 的 上 界 是 
M =y"(1) = 3Ve 一 2. 推论 6.5 意味 着 在 t= 1 处 的 整体 截断 误差 必定 小 于 


weer -0)= Gve— Da, we 4.004h. (6.27) 


实际 整体 误差 证 实 了 这 个 上 界 , 如 图 6-4 所 示 , 对 小 的 h, 它 大 致 是 h WPT. a 
到 目前 为 止 ,Euler 方法 似乎 是 十 分 简单 安全 的 . 它 的 构造 是 直观 的 , 根据 推论 
6.5 产生 的 误差 随 着 步 长 减 小 而 变 小 .然而 , 对 更 困难 的 初 值 问 题 , Euler 方法 很 少 
使 用 . 还 有 更 复杂 的 方法 , 它们 的 阶 , 或 者 (6.25) 中 h HER, 大 于 1, 正 像 我 们 将 
看 到 的 , 这 就 大 大 减 小 了 整体 误差 . 我 们 以 一 个 简单 的 例子 来 结束 这 一 节 , 在 该 例 
中 需要 减 小 误差 . 
例 6.9 ”把 Ewer 方法 用 于 初 值 问题 


y = —4t8y?, 
1 
10) = 一 一， 6.28 
y(-10) = 30607 ga 
t € [-10, 0]. 


通过 代入 , 容易 验证 准确 解 是 y(t) = a 这 个 解 在 我 们 关心 的 区 间 中 令 人 满 
意 . 我 们 将 评估 Euler 方法 逼近 t= 0 处 的 解 的 能 力 . 
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图 6-6 表示 Euler 方法 对 解 的 近似 , 其 步 长 从 底 到 项 分 别 是 = 10-8, 10-4, 107. 
准确 解 在 t = 0 处 的 值 是 y(0) = 1. 即使 是 最 好 的 近似 , 从 初始 条 件 出 发 , 用 了 100 
万 步 到 达 t = 0, 也 是 不 准确 的 . 

这 个 例子 表明 , 为 了 达到 合理 的 数值 计算 的 精度 , 我 们 需要 更 精确 的 方法 . 本 
章 其 余部 分 将 建立 更 高 级 的 方法 , 它们 只 要 较 小 的 步 数 就 能 得 到 同样 的 或 更 好 的 精 
度 . < 


y 
1 


t 
-10 10 


图 6-6 例 6.9 用 Euler 方法 得 到 的 近似 解 ， 从 底 到 项 , 步 长 是 h = 
10-3,h = 10-4,10-5. 准确 解 有 y(0) = 1. 为 了 得 到 一 个 合理 
的 近似 解 , 需要 用 极其 小 的 步 长 


6.2.2” 显 式 梯形 方法 


在 Euler 方法 的 公式 中 作 一 个 小 的 调整 便 可 显著 地 改进 精度 . 考虑 以 下 受 几 何 
启发 的 方法 : 
显 式 梯形 方法 


Wo = Yo, 
h (6.29) 
Witl = wit 5 (f (ti wi) + f(ti + h, wi + hf (ti, wi))) « 

对 Euler 方法 而 言 , 控制 离散 步 的 斜率 y(t) 取 自 区 间 [titit] 的 左 端点 方 
向 场 .而 对 梯形 方法 而 言 , 如 图 6-7 所 示 , 这 个 斜率 被 用 在 左 端点 的 贡献 y(t) 和 
Euler 方法 已 给 出 的 右 端点 的 斜率 f(t; 十 h,wi + hf (ti, wi) 的 平均 来 代替 . Euler 方 
法 “预测” 被 用 于 w 值 来 计算 在 t+i = 去 十 上 处 的 斜率 函数 f. 在 某 种 意义 上 ,Euler 
方法 预测 是 用 梯形 方法 来 校正 的 , 正如 我 们 将 说 明 的 , 梯形 方法 更 为 精确 . 

梯形 方法 称 为 显 式 方法 , 是 因为 新 的 近似 解 wi 能 够 由 前 面 的 wi,ti,h 的 显 
式 公式 所 确定 . Euler 方法 也 是 一 种 显 式 方法 . 

名 为 “梯形 方法 ”的 原因 在 于 ft y) 不 依赖 于 y 的 特殊 情形 , 方法 


Witl = Wi + tre + f(ti+h)] 


能 被 看 成 把 积分 | ™ raat 的 梯形 规则 近似 添加 到 当前 的 w 上 去 . 因为 


ti 
ti 
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ti 十 hh ti+h 
| roas f” vat = +») — ye), 


梯形 wi, 
(51+ sn)/2 s 
St. 
ú Euler w, 
—t ES 
t bat 


图 6-7 显 式 梯形 方法 的 单 步 原理 图 ， 斜率 sr = f(tj,wj) 和 sr = 
Elti +h, wit hf (ti, wi)) 被 平均 以 定义 用 于 解 前 进 到 tiya 处 的 
斜率 
这 对 应 于 用 梯形 近似 积分 公式 (5.21) 对 微分 方程 y = f(t) 的 两 边 进行 积分 , 从 而 
求 得 微分 方程 的 解 . 显 式 梯形 方法 在 文献 中 也 称 为 改进 的 Euler 方法 和 Heun 方法 ， 
但 是 我 们 将 用 这 一 个 更 形象 的 及 更 容易 记忆 的 名 称 . 
例 6.10 ”在 初始 条 件 y(0) = 1 F, 用 显 式 梯形 方法 求解 初 值 问题 (6.5). 
对 于 f(t,y) = ty +t, AR (6.29) 是 


w=y=l, 
wens wi + B(S aw) + fl + hw + Af (tr) 


=u + Ketan At? + (ti + h) (wi 十 h(tiyi 十 如)) + (ti +h)?). 


MAK h = 0.1, 以 上 和 迭代 便 产生 了 表 6-4. < 
表 6-4 
步骤 ti wi vi ei 
0 0.0 1.0000 1.0000 0.0000 
1 0.1 1.005 1 1.005 0 0.000 1 
2 0.2 1.020 7 1.020 6 0.000 1 
3 0.3 1.048 3 1.048 1 0.000 2 
4 0.4 1.090 2 1.089 9 0.000 3 
5 0.5 1.149 9 1.149 4 0.000 5 
6 0.6 1.232 3 1.231 7 0.000 6 
7 0.7 1.343 7 1.342 9 0.000 8 
8 0.8 1.492 4 1.491 4 0.001 0 
9 0.9 1.689 0 1.687 9 0.001 1 
10 1.0 1.947 1 1.946 2 0.001 0 


把 例 6.10 和 对 同一 问题 用 Euler 方法 的 例 6.2 的 结果 进行 比较 , 它们 的 差别 
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是 惊人 的 . 为 了 量化 用 梯形 方法 求解 初 值 问题 得 到 的 改进 , 我 们 需要 计算 它 的 局 部 
截断 误差 (6.19). 

局 部 截断 误差 是 在 一 个 单 步 所 产生 的 误差 . 从 假定 准确 解 点 (ti yi) 出 发 , 解 在 ， 
ti+1 处 的 正确 外 延 能 由 Taylor 展 式 给 出 : 


, La hs 
Viti = ylti +h) = yi hy (ti) + mY "(ti) + 6 O (6.30) 


它 对 位 于 ti Al ti: 之 间 的 常数 c 成 立 , 其 中 假定 y” 是 连续 的 . 为 了 把 这 些 项 与 
梯形 方法 进行 比较 , 将 它们 写 得 稍为 不 同 . 对 微分 方程 y(t) = f(t,y) 的 两 边关 于 上 
微分 , 由 链 式 法 则 得 到 


v= Lew EAR OE AA 


(6.30) 的 新 形式 是 
was = wt ngttnd + (C+ ef) + (631) 


我 们 想 把 这 个 表达 式 与 显 式 梯形 方法 进行 比较 , 利用 二 维 Taylor 定理 来 展开 下 面 
的 项 : 


fs + have + f(t) = fest) + HSE (to y) + A em) E syi) + OC). 
梯形 方法 能 写成 
wi = Boy) + F(t + ht (td) 
mnt Ertan) + (send +h (Henu) +rod Atv) +00) 


mnt nsw) + (Hs + Fes) es) ) +000. 
(6.32) 
从 (6.31) 减 去 (6.32) 给 出 局 部 截断 误差 为 
Yitl — Witl = O(n’). 


定理 6.4 说 明 梯形 方法 的 整体 误差 正比 于 h, 这 意味 着 与 一 阶 的 Euler 方法 相 比 ， 
这 个 方法 是 二 阶 的 . 对 于 小 的 h, 这 个 差别 很 明显 , 回 到 例 6.9 即 可 说 明 这 一 点 . 


亮点 ”复杂 性 
二 阶 方法 比 一 阶 方法 更 有 效 , 亦 或 相反 ? 在 每 一 步 误差 是 小 的 , 但 是 
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计算 工作 量 比较 大 , 因为 通常 需要 计算 两 个 函数 (与 f(t,y) 有 关 的 ) 的 值 
而 不 是 一 个 . 粗略 的 比较 是 这 样 的 : 假设 一 个 近似 解 在 步 长 h 时 已 得 到 ， 
我 们 想 使 计算 量 加 倍 而 改进 这 个 近似 解 . 对 于 相同 数目 的 函数 的 求 值 , 我 
们 (a) 使 一 阶 方法 的 步 长 减 半 , 用 3 乘 以 整体 误差 , 或 者 (b) 保持 相同 的 
PK, 但 是 用 二 阶 方法 , 在 定理 6.4 中 用 h 代替 h, 本 质 上 是 用 h RUR 
体 误 差 . 对 于 小 的 h, (b) 较 成 功 . 


例 6.11 ”把 梯形 方法 用 于 例 6.9: 


y = —4t3y?, 

1 

s10) = 1000， 
te [10,0]. 


用 一 个 更 强 的 方法 重 做 例 6.9, 在 求 近似 解 时 得 到 极 大 的 改进 , 例如 在 xz = 0. 
取 步 长 h = 10-3, 用 梯形 方法 达到 准确 值 y(0) = 1 的 误差 小 于 0.015, HMA 6-8 
所 示 . 这 已 给 比 取 步 长 h= 10-5 的 Euler 方法 更 好 . 对 这 个 相对 困难 的 初 值 问 题 ， 
Wh = 10-5, 梯形 方法 产生 的 误差 是 0(10-7) Br. < 
y 
1 


t 
一 10 10 


图 6-8 用 梯形 方法 求 例 6.9 的 近似 解 : 步 长 h = 10-3, 注意 与 图 6-6 
中 的 Euler 方法 相 比 精度 有 了 重大 改进 


6.2.3 Taylor 方法 


到 目前 为 止 , 我 们 已 学 习 了 求 常 微分 方程 近似 解 的 两 种 方法 . Euler 方法 一 阶 
WK, 而 明显 高 级 的 梯形 方法 二 阶 收敛 ， 本 节 证 明 存 在 任意 阶 的 方法 . 对 每 一 个 正 
整数 k, 都 有 一 种 阶 的 Taylor 方法 , 这 一 点 我 们 将 在 下 面倒 述 . 

基本 思想 是 直接 利用 Taylor 展开 . 假定 解 y(t) 是 (k++1) 次 连续 可 微 的 . 给 定 
解 曲线 上 当前 的 点 (t,y(t)), 目的 是 对 某 个 步 长 h, 利用 微分 方程 的 信息 , 用 y(t) 来 
RH y(t +h). y(t) XF t 的 Taylor 展开 式 是 


1 
CES 


1 1 
y(t +h) = y(t)+hy (t)+ hy") 十 … 十 gy @ + nk+1 y+) (e), (6.33) 


其 中 c 在 t+ 和 t+h 之 间 . 最 后 一 项 是 Taylor RH. 这 个 等 式 引 发 了 以 下 方法 : 
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k 阶 Taylor 方法 


wo = Yo, 到 (6 34) 
2 5 
Wit1 = wi + hf (ti, wi) + E fenm) Fint BSED (taw). 


基本 记号 涉及 f(t,y(t)) KF t 的 全 导数 . 例如 
F(t y) = felt, y) + Fylt vy’) = felts y) + fylt, v)F(by)- 


用 记号 fi 表示 f KF t 的 偏 导 数 , fy 类 似 . ATR Taylor 方法 的 局 部 截断 误 
差 , 在 (6.34) 中 令 wi = yi, 并 与 Taylor 展 式 (6.33) 比较 得 


Akt (k+l 
Yitl — Witl = + DY )(o). 


由 此 可 知 : k Bt Taylor 方法 的 局 部 截 电 误差 为 OCW), 因此 根据 定理 6.4, 方法 是 
k 阶 的 . 
一 阶 Taylor 方法 是 
Wit1 = wi + hf (ti, wi), 
它 与 Euler 方法 相同 . 二 阶 Taylor 方法 是 
Wiga = we + hf tists) + Bh (felt ra) + fylt w) fees w) 


例 6.12 ”对 问题 
y =ty+t, 
{ y(0) = yo, (6:55) 
建立 二 阶 Taylor 方法 . 
由 于 f(t,y) = ty +t, 故 有 
f(ty = fe+ fyf =yt3? +tlty +6), 
因此 二 阶 Taylor 方法 给 出 
wisn = wi + A(tiw; + t?) + shew + 3t + ti(tiwi + €)). < 
尽管 二 阶 Taylor 方法 是 一 种 二 阶 方法 , 但 是 注意 , 使 用 者 需要 手工 去 求 偏 导 
数 . 把 它 与 其 他 的 二 阶 方 法 相 比 , (6.29) 仅 需要 调用 计算 f(t,y) 值 的 程序 . 
从 概念 上 说 ,Taylor 方法 的 经 验 说 明 : 存在 任意 阶 的 常 微分 方程 方法 , 如 (6.34) 


所 示 的 那样 .但 是 我 们 需要 额外 计算 公式 中 f 的 所 有 偏 导数 . 因为 可 以 建立 不 需 
要 这 些 偏 导数 的 相同 阶 的 公式 , 所 以 Taylor 方法 仅仅 为 了 特殊 的 目的 才 使 用 . 
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习题 6.2 

1. 用 初始 条 件 y(0) = 1 MPK h= 4, 在 区 间 [0, 1) 上 计算 梯形 方法 近似 解 wo,… , wa. 通 、 

过 与 习题 6.1.3 中 求 得 的 正确 解 比较 , 求 在 t = 1 处 的 误差. 

(a) Y = 二 (b)y'=ť?y; (c) y= 2+ Dy; 

(b) y = 5t*y; (e) y'= oat (f) = Si 
.用 初始 条 件 y(0) = 0 RAK h = 4, 在 区 间 [0, 1] 内 计算 梯形 方法 近似 解 ， 通 过 与 习题 

6.1.4 中 求 得 的 正确 解 比较 , RE t= 1 处 的 误差 . 

(a) y'=t+y; (b)y =t-y (c) y=4t-2y. 
对 下 述 微分 方程 , 求 二 阶 Taylor 方法 的 公式 . 
(a) y'=ty; (b) y’ =ty? +y"; (c)y'=ysiny; (d) y =e". 
对 习题 1 的 初 值 问题 应 用 二 阶 Taylor 方法 ， 取 步 长 h = 4, 在 区 间 [0,1] 上 计算 二 阶 
_ Taylor 方法 的 近似 解 . 与 习题 6.1.3 中 求 得 的 准确 解 比较 , 从 而 求 出 在 t = 1 处 的 误差 . 
5. (a) 证 明 (6.22); (b) 证 明 (6.23). 


计算 机 问题 6.2 

1. 在 步 长 h = 0.1 的 网 格 上 , 在 [0, 1] 内 对 习题 1 中 的 初 值 问 题 应 用 显 式 梯形 方法 . 打印 每 
一 步 的 t 值 、 近 似 解 及 整体 截断 误差 的 表 . 

2. 画 出 习题 1 中 在 [0, 1] 上 的 初 值 问 题 的 近似 解 和 真 解 , 步 长 h = 0.1, 0.05,0.025. 
3. 对 于 习题 1 中 的 初 值 问 题 , 把 在 t = 1 处 的 显 式 梯形 方法 的 整体 截断 误差 画作 h = 
0.1 x 27*(0 < k < 5) 的 函数 . 如 同 图 6-4, 用 双 对 数 坐 标 图 . 

。 对 于 习题 1 中 的 初 值 问题 , 把 在 t = 1 处 的 二 阶 Taylor 方法 的 整体 截断 误差 画作 h = 
0.1 x 27*(0 < k < 5) 的 函数 . 


Y 


g 


A 


A 
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微分 方程 组 的 近似 求解 可 以 作为 单个 微分 方程 的 求解 方法 的 简单 推广 ， 解 微 
分 方程 组 大 大 增强 了 我 们 模拟 动态 行为 的 能 力 . 

求解 常 微分 方程 组 的 能 力 是 计算 机 模拟 的 艺术 和 科学 的 核心 .本 节 介 绍 两 个 
物理 系统 , 它们 的 模拟 引发 了 常 微 方程 解法 的 极 大 发 展 : BAGH. 这 两 个 例 
子 的 研究 将 为 读者 提供 某 些 关 于 解法 的 能 力 和 局 限 性 的 实际 经 验 . 

微分 方程 的 阶 (order) 指 的 是 方程 中 出 现 的 最 高 阶 导数 . 一 阶 方程 组 有 形式 


yi = filt, y Yn), 
y2 = falti yn Yn), 


Yn = falt, Y1: Yn): 
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在 初 值 问题 中 , 每 个 变量 y 需要 各 自 的 初始 条 件 . 
例 6.13 48 Euler 方法 用 于 两 个 方程 的 一 阶 方程 组 
yi = 93 — 2m, 
y2 = Y1 — Y2 — ty2, 
yi (0) =0, 
y2(0) =1. 


验证 方程 组 (6.36) 的 解 是 向 量 值 函数 
{ m(t) = te, 


t 


yo(t) =e". 


(6.36) 


现在 假设 我 们 不 知道 这 个 解 , 而 使 用 Euler 方法 . 把 标量 Euler 方法 的 公式 应 


用 到 每 一 个 分 量 : 


Wir = Wi, + h(wPe 一 2wi,1), 
Wi41,2 = Wi2 + h(wia — wi,2 — tiw?2). 


图 6-9 表 示 yi 和 yo 的 Euler 方法 近似 解 以 及 正确 解 . 执行 这 一 任务 的 MATLAB 


代码 本 质 上 与 程序 6.1 相同 , 只 须 稍 加 调整 把 y 处 理 成 向 量 . 


y 


1 


1 t 


图 6-9 用 Euler 方法 近似 求解 方程 (6.36). 步 长 h = 0.1, 上 面 的 曲线 
是 y(t) 以 及 它 的 近似 解 w (ABA), 而 下 面 的 曲线 是 yalt) 


和 wiz 


% Program 6.2 Vector version of Euler Method 


% Input: interval [a,b], initial vector y0, step size h 


% Output: time steps t, solution y 

% Example usage: euler2((0 1],{0 1],0.1); 
function [t,y]=euler2(int,y0,h) 

t(1)sint (1); y(1,:)=y0; 
n=round({ (int (2) -int (1))/h); 

for i=l:n 
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t(i+1) =t (i) +h; 
y(i+1,:)=eulerstep(t(i),y(i,:),h); 
end 
plot(t,y(:,1),t,y(:,2))¢ 


function y=eulerstep(t,y,h) 
fone step of the Euler Method 

%Input: current time t, current vector y, step size h 

*Output: the approximate solution vector at time t+h 

y=yth*ydot (t,y); 

function z=ydot (t,y) 

z(1)=y(2)*2-2*y (1); 

z(2)=y(1)-y(2)-t*y(2)%2; < 


6.3.1 ”高 阶 方程 
一 个 高 阶 微分 方程 能 够 转换 成 方程 组 . 令 


y™ = fitu yy" yC) 
是 一 个 n 阶 常 微分 方程 . 定义 新 变量 
nay = =y", Yn =), 
注意 到 能 把 原来 的 微分 方程 写 为 


Yn = f(t, yi ya yn), 


以 及 方程 
vi =y 
y2 = ys 
¥5 = Ya 
Yn-1 = Yn- 


这 样 n 阶 微分 方程 就 转换 成 了 一 阶 方程 组 , 可 以 用 如 Euler 方法 或 者 梯形 方法 之 
类 的 方法 来 求解 它 . 
例 6.14 ”把 三 阶 微分 方程 
y” = aly”)? — y' + yy” + sint (6.37) 


转换 成 一 个 方程 组 . 
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Sy = y 并 定义 新 的 变量 


1 a 


y=y, y=y- 
于 是 , 用 一 阶 导数 来 表示 ,(6.37) 等 价 于 
Yh = Ye, 
wh = Ys, (6.38) 
Y5 = ay3 — y2 + yrys +sint. 
三 阶 方程 (6.37) 的 解 y(t) 可 以 通过 从 方程 组 (6.38) 中 解 出 y(t), valt), yalt) RE. 


< 
因为 可 以 把 高 阶 方程 转化 为 方程 组 , 所 以 我 们 集中 研究 一 阶 方程 组 . 另外 请 注 
意 , 用 同样 的 方法 可 以 把 几 个 高 阶 方程 的 方程 组 转换 成 一 阶 方程 组 . 
6.3.2 ”计算 机 模拟 : 摆 
图 6-10 说 明 摆 在 重力 影响 下 摆动 . 假定 摆 悬 挂 在 一 个 可 以 自由 摆动 360 度 的 
坚硬 的 杆 上 . 摆 关 于 垂直 方向 的 角 用 y 表示 , 所 以 y = 0 对 应 于 竖 直 朝 下 . 因此 ,y 
Al y + 2r 可 以 认为 是 相同 的 角 . 


=I 0 1 
图 6-10 $: 力 的 切 向 分 量 是 = —mgsiny, 其 中 y 是 摆 在 摆动 时 关于 
垂直 方向 的 角 


可 以 用 Newton 第 二 运动 定律 F = ma 来 求 摆 的 方程 . 摆 的 摆动 运动 被 限制 为 
沿 着 半径 为 ! 的 圆 , 这 里 1 是 摆 杆 的 长 度 . 假设 y 以 弧度 测量 , 那么 加 速度 对 圆 的 
切 向 分 量 是 ly”, 是 因为 位 移 对 圆 的 切 向 分 量 是 ly. 力 沿 着 运动 方向 的 分 量 是 mg 
sin y. 这 是 一 种 回复 力 (restoring force), 即 它 的 方向 与 变量 y 的 位 移 方向 相反 . Al 
此 , 控制 光滑 摆 的 微分 方程 是 


mly” = F = —mgsiny. (6.39) 
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这 是 摆 的 角度 y 的 二 阶 微分 方程 .初始 条 件 由 初始 角度 y(0) 及 初始 角速度 y (0) 
给 出 . 
S n =y 并 引入 新 的 变量 yo = y', 这 个 二 阶 方程 就 换 成 一 阶 方程 组 : 


{ Vis vay (6.40) 
w= —7 siny- 
这 个 方程 组 是 自控 的 , 因为 其 右 端 与 t 无 关 . 如 果 摆 从 正 右 方 的 位 置 开始 , 那么 初 
始 条 件 是 11 (0) = 3 A yo(0) = 0, 使 用 MKS 单位 , 地 球 表面 的 重力 加 速度 大 概 是 
9.81 米 / 秒 2. 利用 这 些 参数 , 我 们 可 以 检验 Euler 方法 作为 这 个 方程 组 的 解法 的 适 
应 性 . 

图 6-11 表示 摆 方 程 用 两 种 不 同步 长 的 Euler 方法 的 近似 解 . 摆 杆 长 度 指定 为 
1 = 1 米 . 较 小 的 曲线 代表 作为 时 间 函 数 的 角度 y. 较 大 振幅 的 曲线 是 瞬时 角速度 . 
注意 零 角度 表示 摆 的 垂直 位 置 , 对 应 于 最 大 角速度 ( 正 的 或 负 的 ). 当 摆 经 过 最 低 点 
时 , 摆动 最 快 . 当 摆 伸 展 到 最 右边 , 即 较 小 曲线 的 顶峰 时 , 速度 为 零 , 它 从 正 向 到 负 
向 . 


图 6-11 Euler 方法 用 于 摆 的 方程 (6.40). 振幅 较 小 的 曲线 是 弧度 制 下 的 
角度 内 ,振幅 较 大 的 曲线 是 角速度 yo. (a) 步 长 h=0.01 AK 
T, 能 量 增长 ; (b) 步 长 h = 0.001 表示 更 精确 的 轨道 


在 图 6-11 中 ,Euler 方法 的 缺点 是 明显 的 . 为 了 达到 即使 是 定性 的 准确 性 , 步 长 
h=0.01 也 显然 太 大 了 . 以 零 速度 出 发 的 无 阻尼 摆 将 永远 来 回 摆动 , 以 固定 的 周期 
回 到 它 出 发 的 位 置 . 图 6-11a 中 角度 的 幅度 增 大 , 违背 了 能 量 守恒 . 用 10 倍 以 上 的 
FR, 如 在 图 6-11b 中 那样 , 至 少 在 视觉 上 改进 了 这 一 情形 , 但 是 一 共 需 要 104 步 ， 
这 对 摆 所 表现 的 常规 动态 行为 来 说 , 是 一 个 极 大 的 数字 . 
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像 梯 形 方法 这 样 的 二 阶 常 微分 方程 解法 很 容易 提高 了 精度 . 我 们 将 重 写 
MATLAB 代码 以 使 用 梯形 方法 , 并 且 借 这 一 机 会 来 说 明 MATLAB 进行 简单 动 
画 的 能 力 . 


下 面 的 代码 pend.m 包含 相同 的 微分 方程 信息 , 但 是 用 trapstep 代 替 了 
eulerstep. 此 外 还 引入 了 变量 rod 和 bob 来 分 别 表 示 杆 和 摆 的 摆动 . MATLAB 的 
set 命 令 对 变量 指定 特征 属性 .drawnow 命 令 画 出 变量 rua 和 bob. 注意 两 个 变量 
的 删除 方法 被 置 为 xor, 意 即 当 所 画 变量 在 某 处 重新 画 出 时 , 前 面 的 位 置 已 被 
删除 . 图 6-10 是 这 个 动画 的 屏幕 截图 , 以 下 便 是 程序 . 


% Program 6.3 Animation program for pendulum 
% Inputs: int=[a b] time interval, 
% initial values ic=[y(1,1) y(1,2)], h = step size 
% Calls a one-step method such as trapstep.m 
% Example usage: pend([0 10}, [pi/2 0],.05) 
function pend(int,ic,h) 
n=round((int(2)-int(1))/h); % plot n points in total 
y(1 sic; % enter initial conds in y 
t(1)sint (1); 
set (gca, 'xlim', [-1.2 1.2], 'ylim', [-1.2 1.2], 
'XTick', [-1 0 1],'YTick',[-1 0 1], 
'Drawmode', 'fast', 'Visible','on', ‘NextPlot','add'); 


clf; % clear screen 

plot (0,0, 'ks') % pivot where rod attached 
axis ([xlim,ylim]) 

axis square % make aspect ratio 1-1 
bob=line('color','r', 'Marker','.', 'markersize',40,... 


‘erase','xor', 'xdata',[],'ydata',[(]); 


rod=line('color','b','LineStyle','-', 'LineWidth',3,... 
‘erase',‘xor','xdata',[],'ydata',[]); 
for k=1:n 
t (k+1) =t (k) +h; 
y (k+1,:)=trapstep(t(k),y(k,:),h); 


xbob=cos (y(k+1,1)-pi/2); ybob=sin(y(k+1,1)-pi/2); 
xrod= [0 xbob]; yrod=[0 ybob]; 
set (rod, 'xdata',xrod, 'ydata', yrod) 
set (bob, 'xdata',xbob, 'ydata', ybob) 
drawnow; pause (h) 
end 


function y=trapstep(t,x,h) 

%one step of the Trapezoid Method 
zl=ydot (t,x); 

g=x+h*z1; 

z2=ydot (t+h,g); 

y=x+h* (z1+z2)/2; 
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zlsydot (t,x); 
g=x+h*z1; 
z2=ydot (t+h, g); 
y=x+h* (21+z2) /2; 


function z=ydot (t,y) 

g=9.81;length=1; 

z(1)=y(2); 

2(2)=- (g/length)*sin(y (1)); 

在 摆 方 程 中 应 用 梯形 方法 可 用 较 大 的 步 长 求 得 很 精确 的 解 ， 本 节 最 后 给 出 几 
个 有 趣 的 基本 摆 模 拟 的 变形 , 我 们 鼓励 读者 用 计算 机 问题 进行 实验 . 

例 6.15 EEIZ 

像 空气 阻力 或 者 摩擦 力 这 种 阻尼 力 , 经 常 被 模拟 为 与 速度 成 比例 并 与 速度 方向 
相反 , 这 种 摆 的 方程 组 变 成 


Y= Yo 

{ n= -f sinyı — dy2, (a) 

这 里 d > 0 是 阻尼 系数 . 与 无 阻尼 摆 不 同 , 这 种 摆 随 着 摆动 逐渐 失去 能 量 , 并 对 任 

意 初始 条 件 最 终 都 趋 于 极限 平衡 解 m = yo = 0. 计算 机 问题 6.3 要 求 运行 阻尼 形 

式 的 pendm. < 
$16.16 BABE 

在 (6.41) 中 加 一 项 依赖 于 时 间 的 项 表示 外 力作 用 于 阻尼 摆 . 考虑 在 yo 的 右 端 


加 上 正弦 项 A sin t 就 得 到 


Ya = Ya, 
6.42 
ae ers (6.42) 


这 可 以 认为 是 诸如 受到 振荡 磁场 影响 的 摆 的 模拟 . 

在 加 上 外 力 时 , 许多 新 的 动力 行为 成 为 可 能 . 二 维 自控 微分 方程 组 Poincar6- 
Bendixson 定理 (来 自 微分 方程 理论 ) 表明 , 轨道 可 以 倾向 于 规则 运动 , 譬如 像 摆 在 
低落 位 置 这 种 稳定 的 平衡 状态 , 或 者 像 摆 永 远 前 后 摆动 这 种 稳定 的 周期 循环 状态 . 
加 力 使 得 方程 组 成 为 非 自控 ( 它 可 以 写成 一 个 三 维 自控 方程 组 , 但 不 能 作为 一 个 二 
维 的 ), 所 以 允许 有 第 三 类 轨道 , 即 混沌 轨道 . < 

在 计算 机 问题 4 中 , 取 阻 尼 系 数 d = 1, 外 力 系数 4 = 10, 结果 得 到 有 趣 的 周 
期 状态 . 变动 参数 使 4 = 15, 就 引入 了 混沌 轨道 . 

例 6.17 We 

双 摆 是 一 个 简单 摆 与 另 一 个 简单 摆 一 起 悬 在 各 自 的 杆 上 .假设 两 根 杆 与 垂直 
方向 的 角度 是 y 和 ys, 微分 方程 组 就 是 
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1 
Yı =Y2, 
_ 3gsiny — gsin(y — 2ys) — 2sin(yi — ys)(u4 — y3 cos(yı — ys)) 


— dyz, 
3 — cos(2y1 — 2y3) a 


Y3 =Y4, 
y, = 2st — Ys)[2 + 2g cos yı + vi cos(y — ys)] 
4 3 — cos(2y1 — 2y3) j 


这 里 9 = 9.81, 两 根 杆子 的 长 度 设 为 1. BR d 表示 在 摆动 中 心 的 摩擦 力 ， 对 于 
d = 0, 双 摆 展示 了 对 许多 初始 条 件 的 持续 非 周 期 性 , 看 起 来 让 人 着 迷 , 见 计算 机 问 
题 8. 4 


6.3.3 ”计算 机 模拟 : 轨道 力学 


作为 第 二 个 例子 , 我 们 模拟 轨道 卫星 的 运动 .Newton 第 二 运动 定律 讲 , 卫星 的 
加 速度 a 与 作用 于 卫星 上 的 力 FARK, F = ma, 这 里 m 是 质量 . 根据 反 平方 定律 ， 
重力 定律 把 质量 为 m 的 物体 作用 到 质量 为 m 的 物体 的 力 表达 为 
gmim 

72 

这 里 7 是 两 物体 之 间 的 距离 . 在 单 体 问题 中 , 其 中 一 个 物体 的 质量 与 另 一 个 相 比 认 
为 是 可 忽略 不 计 , 例如 一 个 小 的 卫星 绕 着 一 个 大 的 行星 旋转 的 情形 . 这 种 简化 , 允 
许 我 们 忽略 卫星 作用 到 行星 的 力 , 所 以 可 以 认为 行星 是 固定 的 . 

把 质量 大 的 物体 放 在 原点 , 用 (z,y) 表示 卫星 的 位 置 . 两 物体 之 间距 离 r = 
Voit y?, 因此 作用 到 卫星 的 力 指向 中 心 , 即 指向 质量 大 的 物体 . 方向 向 量 (这 个 方 
向 的 单位 向 量 ) 是 


F= 


> 
-z Fy? z) 
因此 , 用 分 量 表示 的 作用 在 卫星 上 的 力 是 


gmm2 -T gmim Y ) (6.43) 


(Fz, Fy) = (a Very r+y jerry 
把 这 些 力 代 入 牛顿 运动 定律 , 得 到 两 个 二 阶 方程 
n___JmmT 
| ma" =- ga HAPA 


W gmımy 


mY T(r 
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引进 变量 we = 2! 及 y, = y', 使 得 这 2 个 二 阶 方程 化 为 4 个 一 阶 方程 的 方程 组 : 


T =vz, 

a Maz 

z (2? +y?) (6.44) 
yf =r, 
os gmey 

= 


T(z +p" 


以 下 MATLAB 程 序 orbit.m 称 为 eulerstep.m, 它 连续 地 画 出 卫星 轨道 . 


%Program 6.4 Plotting program for one-body problem 
Inputs: int=[a b] time interval, initial conditions 

% ic=[x0 vx0 yO vy0], x position, x velocity, y pos, y vel, 
% h=stepsize, p=steps per point plotted 

% Calls a one-step method such as trapstep.m 

% Example usage: orbit([0 100],[0 1 2 0),0.01,5) 

function z=orbit (int,ic,h,p) 


n=round ( (int (2)-int(1))/(p*h)); % plot n points 
x0=ic (1) ;vx0=ic (2) ;y0=ic (3) ;vy0=ic (4); % grab initial conds 
y(1,:)=[x0 vx0 yO vy0);t(1)=int(1); % build y vector 


set (gca, 'XLim', [-5 5],'yLim',[-5 5],'xXTick',[(-5 0 5], 'YTick',... 
[-5 0 5], 'Drawmode','fast','Visible','on','NextPlot', 'add'); 

cla; 

sun=line(‘color','y', 'Marker','.', 'markersize',25,... 
‘xdata',0,'ydata',0); 

drawnow; 

head=line('color','r', 'Marker','.','markersize',25,... 
‘erase', 'xor', 'xdata', [], 'ydata', []); 

tail=line('color','b','LineStyle','-','erase','none', ... 
'xdata', [], 'ydata', []); 

%[px, py, button] =ginput (1); % include these three lines 

%[px1,py1,button]=ginput (1) ; % to enable mouse support 

%y(1,:)=(px pxl-px py pyl-py]; $ 2 clicks set direction 


for i=1:p 
t (i+1) =t (i) +h; 
y (i+1,:)=eulerstep(t(i),y(i,:),h); 
end 
y(1,:)=y(ptl,:) st (1)=t (p41); 
set (head, 'xdata',y(1,1), 'ydata',y(1,3)) 
set (tail, 'xdata',y(2:p,1), 'ydata',y(2:p,3)) 
drawnow; 
end 


function y=eulerstep(t,x,h) 
tone step of the Euler Method 
y=x+h*ydot (t,x); 
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function y=eulerstep(t,x,h) 
tone step of the Euler Method 
y=x+th*ydot (t,x); 


function z=ydot (t,x) 
m2=3;g=1;mg2=m2*g;px2=0;py2=0; 
pxl=x (1) ;pyl=x(3) ;vxl=x(2) ;vyl=x(4); 
dist=sart ( (px2-px1)*2+ (py2-py1) ^2); 
z=zeros(1,4); 

z(1)=vx1; 

2(2)=(mg2* (px2-px1))/ (dist^3); 
z(3)=vyl; 

z(4)=(mg2* (py2-py1) ) / (dist*3) ; 


运行 MArrAB 脚 本 orbit .mn 立刻 显示 出 近似 求解 有 趣 问题 的 Euler 方法 的 局 限 
性 . 图 6-12a 表示 运行 orbit([0 100] , [0 1 2 0] 0.01) 的 结果 . 换言之 , 我 们 沿 
着 时 间 区 间 [a,b] = [0,100] 上 的 轨道 , 初始 位 置 是 (zo,yo) = (0,2), 初始 速度 是 
(vz, vy) = (1,0), Euler 步 长 是 h = 0.01. 

单 体 问题 的 解 一 定 是 圆锥 曲线 一 椭圆 、 抛物线 或 双 曲 线 . 从 图 6-12a 中 看 到 
的 螺旋 形 是 数值 人 工 制品 , 意 即 由 计算 误差 引起 的 错误 代表 . 此 时 Euler 方法 的 截 
断 误差 导致 轨道 不 能 贴近 一 个 椭圆 . 如 果 步 长 缩小 到 原来 的 3 到 h = 0.001, 结果 
就 得 到 改进 , 如 图 6-12b 所 示 . 所 示 的 几 条 轨道 显然 表明 , 即使 极 大 地 减 小 步 长 , 积 
累 的 误差 依然 清晰 可 见 . 


5 5 
° s C) 
35 0 5s (5 
(a) (b) 


图 6-12 Euler 方法 用 于 单 体 问题 : (a) h = 0.01,(b) h = 0.001 


推论 6.5 表明 , 原则 上 , 如 果 步 长 充分 小 , Euler TARER BETT A A BT 
愿 . 但 是 图 6-6 和 图 6-12 所 代表 的 结果 表明 , Euler 方法 实际 上 受到 严格 的 限制 . 

图 6-13 表明 , 在 单 体 问题 中 , 用 梯形 方法 代替 Euler 方法 , 可 以 明显 改进 结果 . 
通过 在 前 面 的 代码 中 使 用 trapstep 代 替 函 数 eulerstep, 可 以 画 出 此 图 . 
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在 某 种 意义 上 , 单 体 问题 忽略 了 卫星 作用 到 (非常 大 的 ) 行星 上 的 力 , 所 以 它 是 
虚构 的 . 当 包含 后 者 时 , 这 是 两 个 物体 的 运动 , 称 之 为 双 体 运动 . 

三 个 物体 在 重力 下 相互 作用 的 情形 称 为 三 体 问题 (three-body problem), 它 在 科 
学 史上 占有 重要 的 位 置 . 即使 当 所 有 运动 被 限制 在 一 个 平面 (约束 三 体 问题 ), 但 是 
长 期 轨道 在 本 质 上 也 是 不 可 预 估 的 . 1889 年 , 瑞典 和 挪威 的 国王 Oscar 二 世 悬 赏 证 
明太 阳 系 的 稳定 性 . Henri Poincare 得 到 了 这 一 奖项 , 他 指出 , 由 于 所 看 到 的 三 个 互 
相 作用 的 物体 的 现象 , 我 们 几乎 不 可 能 去 证 明 任何 这 类 事情 . 

不 可 预测 性 源 自 对 初始 条 件 的 敏感 依赖 性 (sensitive dependence on initial con- 
ditions), 它 表达 了 这 样 的 事实 : 初始 位 置 和 初始 速度 的 微小 不 确定 性 可 能 会 导致 以 
后 时 间 上 的 巨大 偏差 . 用 我 们 的 术语 , 可 以 叙述 为 微分 方程 组 的 解 关于 输入 条 件 和 
初始 条 件 是 病态 的 . 


5 


-55 0 
图 6-13 ”用 梯形 方法 逼近 单 体 问题 : 步 长 h = 0.01, 至 少 在 图 中 的 可 见 
解 处 轨道 似乎 是 封闭 的 
约束 三 体 问题 是 一 个 12 个 方程 的 方程 组 , 每 一 个 物体 对 应 4 个 方程 , 它们 同 
样 由 Newton 第 二 定律 导出 . 例如 , 第 一 个 物体 的 方程 是 


到 一 Viz， 
天 二 gm(z2 — 21) + gms3(x3 — 21) 

(an) + au?” (@s— m1) + sm?” (6.45) 
Y= Vy; 


a es gma(y2 — yı) 4 gms(ys — yı) 
YY (z2 = 21)? + (ya = 971)? (zs— 21)? + (ys — y1)? 
在 (2, yo) 和 (z3, y3) 处 的 第 二 个 物体 和 第 三 个 物体 分 别 满足 类 似 的 方程 . 
计算 机 问题 9 和 问题 10 要 求 读者 计算 地 求解 二 体 问题 和 三 体 问题 . 后 一 问题 
说 明了 严重 的 对 初始 条 件 的 敏感 依赖 性 . 
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习题 6.3 
1. 取 步 长 h = ,用 Euler 方法 解 [0, 1] 上 的 初 值 问 题 : 
vi =n +y v=- — ye, 
以 = 一 十 Va， v2 =y — yr, 
外 (0) =1, ©) n(0)=1, 
y2(0) = 0; ya(0) = 0; 
yi = —y2, yi =n +3y2, 
n =y, ya = 2y + 2y2, 
O) n@=1 ©) noss, 
y2(0) = 0; y2(0) =0. 
通过 与 准确 解 比较 , R t= 1 处 的 加 和 yo 的 整体 截断 误差: 
(a) y(t) = e cost, ya(t) = —e*sint; (b) y:(t) =e *, ya(t) = e™* sint; 
(c) y(t) = cost, ya(t) = sint; (d) y(t) = 3e~* + 2e%*, yo(t) = —2e~* + 2e“. 


. WEK h= i, 用 梯形 方法 解 习 题 1 中 的 初 值 问题 . 通过 与 准确 解 比较 , 求 + = 1 处 的 整 
体 截 断 误差 . 

， 把 以 下 高 阶 常 微分 方程 化 为 一 阶 方程 组 . 
(a) y’-ty = 0 (Airy HFR); (b) y”—2ty’+2y = 0(Hermite 方程 ); (c) y”—ty—y = 0. 


4. W h= į, y(0) =y'(0) = 1, 用 梯形 方法 解 习题 3 中 的 初 值 问题 . 


(a) 证 明 y(t) = (ef +e 一 )/2 一 1 是 初 值 问题 y” — y' = t, y(0) = y'(0) = y"(0) =0 的 
W. (b) 把 微分 方程 化 为 3 个 一 阶 方程 的 方程 组 ，(c) KA = }, 用 Euler 方法 求 [0,1] 
上 的 近似 解 . (d) R t= 1 处 的 整体 截断 误差 . 


计算 机 问题 6.3 
1. KMh=01 Rh=0.01, 用 Euler 方法 解 习题 1 中 的 初 值 问题 . 画 出 [0,1] 上 的 近似 解 和 


准确 解 . 并 求 t = 1 处 的 整体 截断 误差 . 取 h = 0.01 时 , 误差 的 减 小 与 Euler 方法 的 阶 
是 否 一 致 ? 

.用 梯形 方法 执行 计算 机 问题 1. 

修改 pend .m, 对 阻尼 摆 建 模 . 运行 结果 码 (d= 0.1). 除了 初始 条 件 yı (0) = x,y2(0) = 0, 
随 着 时 间 的 推移 , 所 有 的 轨道 都 朝 着 直线 向 下 运动 . 验证 例外 的 初始 条 件 : 这 种 模拟 与 理 
论 一 致 吗 ? 与 物理 摆 呢 ? 

.修改 pend.m, 构造 一 个 受 力 阻 尼 摆 ， 把 梯形 方法 用 到 : (a) 令 阻 尼 d = 1 及 受 力 参数 
4 = 10. RFK h = 0.005 及 你 选取 的 初始 条 件 . 在 几 个 暂时 不 稳定 的 运动 之 后 , BRE 
入 周期 (重复 ) 轨道 . 定性 描述 这 种 轨道 ,尝试 不 同 的 初始 条 件 . 所 有 的 解 是 否 都 结束 于 
相同 的 “有 吸引 力 的 ”周期 轨道 ? (b) 现在 把 步 长 增 大 到 h= 0.01, 重复 这 一 实验 . 尝试 
初始 条 件 [3,0] 和 其 他 的 初始 条 件 . 描述 所 发 生 的 一 切 , 并 对 在 这 一 步 长 处 的 反常 行为 
给 出 合理 的 解释 . 

.如 在 计算 机 问题 4 中 那样 运行 受 力 阻尼 振动 , 但 令 4 = 12. W h = 0.005, 应 用 梯形 方 
法 . 存在 两 个 互 为 镜像 的 周期 吸引 轨道 . 描述 这 两 条 吸引 轨道 , 求 被 不 同 周期 轨道 吸引 的 
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10. 


两 个 初始 条 件 (y1,y2) = (a,0) 和 (6, 0), 这 里 la — b| < 0.1. 4 A = 15, 观察 受 力 阻 尼 摆 
的 混沌 运动 . 


.修改 pena.m, 以 构造 一 个 带 有 振荡 (摇摆) MOE. 目的 是 研究 参量 共振 现象 由 此 ， 


倒置 的 摆 成 为 稳定 的 ! 方程 是 
y" +dy' + (4 + Acos 2at) siny =0, 


这 里 4 是 外 力 强度 . & d= 0.1, 摆 的 长 度 是 2.5 米 . 在 没有 外 力 (A = 0) 时 , 向 下 的 摆 
y = 0 是 一 种 稳定 的 平衡 状态 ， 而 倒置 的 摆 y = x 是 一 种 不 稳定 平衡 . 求 出 尽 可 能 精确 
的 参数 A 的 范围 , 使 得 倒置 所 在 其 中 成 为 稳定 (当然 4 = 0 太 小 , 而 事实 表明 A = 30 
AKK). 在 你 的 试验 中 用 初始 条 件 y = 3.1; 如 果 摆 不 经 过 向 下 的 位 置 , 称 倒置 的 摆 “ 稳 
定 ” 


,应 用 计算 机 问题 6 的 参数 设置 来 说 明 参 数 共振 的 其 他 影响 : 振荡 轴 能 使 稳定 平衡 变 成 不 


稳定 . 求 出 使 这 种 情形 发 生 的 受 力 强度 A 的 最 小 (E) 值 . 如 果 摆 最 终 进入 倒置 位 置 , 把 
向 下 的 位 置 归 入 不 稳定 一 类 . 


.修改 pend.m, 以 构造 双 摆 . 对 第 二 个 摆 必 须 定义 一 对 新 的 杆 与 择 . 注意 第 二 根 杆 的 末端 等 


于 第 一 根 杆 的 自由 端 . 用 简单 的 三 角 学 可 以 计算 第 二 根 杆 的 自由 端的 位 置 (z,y). 


.修改 orbit,m, 求解 双 体 问题 . 令 质量 m = 0.3, mi = 0.03, 并 且 取 初 始 条 件 (z1,y1) = 


(2,2), (ai, yi) = (0.2, -0.2), (2, y2) = (0,0), (z2, y2) = (一 0.01, 0.01) , 画 出 相应 的 轨道 . 
修改 orbit.m， 求解 三 体 问题 . 设 质量 m = 0.3,m = ms = 0.03. (a) 取 初始 条 件 
(@1,y1) = (2,2), (21,41) = (0.2, -0.2), (z2,y2) = (0,0), (2,92) = (0,0), (za,ya) = 


(-2, 一 2), (#5, y5) = (一 0.2, 0.2). (b) 把 初始 条 件 z; BCA 0.200 01, 并 比较 结果 轨道 . 这 
个 例子 非常 直观 地 表明 了 敏感 依赖 


6.4 Runge-Kutta 方法 及 其 应 用 
Runge-Kutta 方法 是 包括 Euler 方法 和 梯形 方法 在 内 的 一 族 常 微分 方程 解法 ， 


也 是 更 复杂 的 高 阶 方法 . 本 节 介绍 各 种 单 步 方法 , 并 用 它们 模拟 某 些 关 键 应 用 的 轨 


道 . 


6.4.1 Runge-Kutta 族 


我 们 已 经 看 到 : Euler 方法 是 一 阶 方法 , 梯形 方法 是 二 阶 方法 .除了 梯形 方法 


外 , 还 有 其 他 Runge-Kutta 型 的 二 阶 方法 . 一 个 重要 的 例子 是 中 点 方法 . 
中 点 方法 


wo = Yo: 


wii = wi +hf 他 十 Fw + 3) 3 19:0) 
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为 了 查证 中 点 方法 的 阶 , 必须 计算 它 的 局 部 截断 误差 . 我 们 对 梯形 方法 做 这 个 
工作 时 , 发 现 表 达 式 (6.31) 是 有 用 的 : 


2 3 
Wi) + Syme). (647 


为 了 计算 在 第 i 步 的 局 部 截断 误差 , 我 们 假定 wi = yi, 并 计算 yin 一 wir. 像 
梯形 方法 那样 , 重复 利用 Tayler 展开 , 可 得 


wit = yi + hf (« + ann + From) 
muta (snd + FE tom) + Arton Etu) +00) 
比较 (6.47) 和 (6.48) 就 得 到 
wa — wigs = O(A), 


所 以 根据 定理 6.4, 中 点 方法 是 二 阶 的 . 
微分 方程 右边 的 每 个 函数 的 计算 称 为 方法 的 级 ， 梯 形 方法 和 中 点 方法 都 是 二 
阶 Runge-Kutta 方法 二 级 族 中 的 成 员 , 它们 具有 形式 


is OPER 人 x) tnw) + ZF + hw + ahf (ti tw), — (6.49) 


其 中 a 40. 令 a = 1 就 对 应 于 显 式 梯形 方法 , 而 a = 3 就 对 应 于 中 点 方法 . 习题 
5 要 求 你 证 明 这 族 方法 的 阶 . 


) i (6.48) 


亮点 “收敛 性 

像 RK4 这 种 4 阶 方法 的 收敛 性 质 大 大 优 于 到 目前 为 止 我 们 讨论 过 的 
一 阶 和 二 阶 方法 的 收敛 性 质 ， 这 里 收敛 意味 着 在 某 一 固定 的 时 间 t, WM 
分 方程 近似 的 (整体 ) 误差 随 着 步 长 h 趋 于 零 而 趋 于 零 的 速度 有 多 快 . 4 
阶 的 意思 是 每 次 步 长 减 半 ,误差 近似 地 下 降 到 (3)* = h, 这 在 图 6-15 中 
很 清楚 . 


图 6-14 说 明了 梯形 方法 和 中 点 方法 背后 的 直觉 . 梯形 方法 用 一 个 Buler 步 到 达 
区 间 的 右 端点 , 计算 在 这 点 的 斜率 , 然后 与 左 端 点 的 斜率 进行 平均 . 中 点 方法 用 一 
个 Euler 步 移动 到 区 间 的 中 点 , 算出 在 该 点 的 斜率 是 f (ti + h, wi + (4) f(t, wi), 
再 用 这 个 斜率 把 wi 移动 到 新 的 近似 wii 这 些 方法 用 不 同 的 逼近 来 解 同样 的 问 
题 : 要 求 代表 整体 区 间 的 斜率 比 Euler 方法 好 , Euler 方法 仅仅 用 了 区 间 左 端点 的 
斜率 估计 . 

存在 任意 阶 的 Runge-Kutta 方法 . 特别 普遍 存在 的 例子 是 4 阶 方法 . 
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梯形 w 


中 点 w++ 
. 
(Si+ 5a)/ a a 
5 eG 
ie - Euler wy GG Su 
Hi fe E as 1 rey 
t; tizi t tiyaya tisi 
(a) (b) 


6-14 ”RK2 族 中 两 个 成 员 的 示意 图 : (a) 梯形 方法 用 左右 端点 的 平均 
值 通过 区 间 ;(b) 中 点 方法 用 区 间 中 点 的 斜率 


4 阶 Runge-Kutta 方法 (RK4) 
Win = Wi 十 ao + 282 + 283 + 84), (6.50) 
其 中 
31 = f(ti, wi), “=f (ttt en) 


h h 
s3=f (« rt gp” ay 3) ; s4 = f (ti +h, wi + hs3). 


这 种 方法 之 所 以 流行 , 是 因为 它 简单 和 容易 编程 . 它 是 单 步 方法 , 所 以 它 只 需 
要 一 个 初始 条 件 就 可 起 动 ; 还 有 一 种 4 阶 方法 , 它 显 然 比 Euler 方法 或 者 梯形 方法 
更 精确 . 

在 4 阶 Runge-Kutta 方法 中 , h(si + 282 + 283 + sa)/6 代替 了 Euler 方法 中 的 
斜率 . 可 以 考虑 这 个 量 作为 在 区 间 [titit h) 中 的 解 的 斜率 的 一 种 改进 估计 . 注意 
si 是 在 区 间 左 端点 的 斜率 , s 是 用 于 中 点 方法 的 斜率 , ss 是 在 中 点 处 改进 后 的 斜 
率 , 而 s4 是 在 右 端点 雪 十 九 处 的 近似 斜率 . 代数 上 需要 证 明 这 个 方法 是 4 阶 的 , 类 
似 于 梯形 方法 和 中 点 方法 的 推导 , 但 是 有 点 长 , 并 且 可 以 在 璧 如 [14] 中 找到 . 为 了 
进行 比较 , 我 们 再 次 回 到 微分 方程 (6.5). 

例 6.18 ”把 4 阶 Runge-Kutta 方法 用 于 初 值 问题 


ong sy 


在 t= 1 处 对 各 种 步 长 计算 整体 截断 误差 , 结果 如 表 6-5. 
与 Euler 方法 的 表 6-3 进行 比较 . 差别 是 显著 的 , 并 且 容 易 补偿 RK4 的 额外 
的 复杂 性 . 与 Euler 方法 每 步 仅 需 调用 1 个 函数 相 比 , RK4 每 步 要 调用 4 个 函数 . 
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6-15 用 展示 整体 截断 误差 正比 于 h 这 个 事实 的 方式 来 显示 同样 的 信息 . 这 就 像 


我 们 对 4 阶 方法 所 期 望 的 那样 . 
表 6-5 
PAn PK h 在 上 = 1 处 的 误差 
5 0.200 00 2.378 8x10-5 
10 0.100 00 1.465 5 x 10-6 
20 0.050 00 9.035 4 x 10-8 
40 0.025 00 5.598 3 x 107° 
80 0.012 50 3.482 0 x 10710 
160 0.006 25 2.171 0x107"! 
320 0.003 12 1.349 1 x 10712 
640 0.001 57 7.260 9 x 10-4 
10°—4 
10-6 
bast 
E3 
ye 107-8) 
4 
4 
#4 107-10) 
0° -1 
10° -8 10-6 


10°—4 10°-2 $. 
HEA 


FA 6-15 4 Ht Runge-Kutta 方法 中 作为 步 长 函数 的 误差 : 在 双 对 数 坐 标 
图 中 , 在 上 = 1 处 (6.5) 的 近似 解 和 准确 解 的 差 的 斜率 等 于 4, 


所 以 对 小 的 h, 它 正比 于 ht 


6.4.2 ”计算 机 模拟 : Hodgkin-Huxley 神经 元 
20 世纪 中 叶 , 计算 机 还 在 早期 发 展 阶段 . 最 初 的 几 种 应 用 是 帮助 求解 至 今 都 很 


难 对 付 的 微分 方程 组 . 


< 


A. L. Hodgkin 和 A. F. Huxley 通过 建立 神经 细胞 或 神经 元 的 仿真 启动 模型 ， 
使 计算 机 神经 科学 (computational neuroscience) 得 以 诞生 . 他们 甚至 能 用 那个 时 
代 的 原始 的 计算 机 来 近似 求解 这 种 微分 方程 模型 . 因为 这 个 工作 , 他 们 获得 了 1963 


年 诺 贝 尔 生物 学 奖 . 


这 个 模型 是 一 个 4 个 耦合 微分 方程 的 方程 组 , 其 中 一 个 模拟 了 细胞 内 外 的 电 
位 差 . 其 余 三 个 方程 模拟 离子 轨道 的 激活 水 准 . 它们 起 了 改变 内 外 钠 离子 和 钾 离 子 
的 作用 . Hodgkin-Huxley 方程 是 


Cv! = —gim*h(v — Ey) — gant (v — E2) — g3(v — Es) + Tapa, 
m = (1 — m)am(v — Eo) — mBm(v — Eo), 
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n! = (1 — m)an(v — Eo) — nBn(v — Eo), 


(6.52) 
h! = (1 — h)an(u — Eo) — hGn(v — Eo), 
其 中 
2.5 — 0.1v =e 
Om) = Bom Am(v) = 4078, 
0.1 — 0.01 dees 
an(v) = on" Bn(v) = 8° 18, 


p 1 
anv) =0.07e°®, a(o) = Soe pT 


系数 C 表示 细胞 的 电容 ，! 葵 入 表示 来 自 其 他 细胞 的 输入 电流 .典型 的 系数 值 是 电 
容 C = 1 毫 法 拉 , 传导 系数 gı = 120,92 = 36,93 = 0.3, 电压 Ey = —65, E) = 
50, E2 = 一 77, E3 = —54.4 SEAR. 

v 的 方程 是 一 个 每 单位 面积 电流 的 方程, 单位 为 毫 安 ( 培 )/ 厘 米 >, 而 其 余 3 个 
激活 (因子 )m,n,h 是 无 单位 的 . 系数 C 是 神经 薄膜 的 电容 ,g1, 92,93 是 传导 系数 ， 
而 Ey, Ez, By Æ “RARE”, 即 是 形成 向 内 流 和 向 外 流 的 边界 的 电压 水 平 . 

Hudgkin 和 Huxley 仔细 地 选择 方程 的 类 型 去 匹配 经 验 数据 , 这 些 经 验 数据 来 
自 乌贼 的 巨 轴 突 . 他 们 也 拟 合 这 个 模型 中 的 参数 . 虽然 乌贼 轴 突 的 详细 资料 不 同 于 
哺乳 动物 的 神经 , 但 是 这 个 模型 已 作为 神经 动力 学 的 一 种 实际 描绘 . 更 普遍 地 , 把 
连续 输入 转化 为 全 有 感应 或 全 无 感应 的 激发 介质 的 例子 是 有 用 的 . 

执行 这 个 模型 的 MATLAB 代码 如 下 : 


% Program 6.5 Hodgkin-Huxley equations 
Inputs: [a b] time interval, 
ic=initial voltage v and 3 gating variables, step size h 
Output: solution y 
Calls a one-step method such as rk4step.m 
% Example usage: hh([0,100], [-65,0,0.3,0.6],0.05); 
function y=hh(inter,ic,h) 
global pa pb pulse 
inp=input (‘pulse start, end, muamps in [ ], e.g. [50 51 7]: '); 
pa=inp(1) ;pb=inp(2) ;pulse=inp(3) ; 
a=inter(1); b=inter(2); n=ceil((b-a)/h); % plot n points in total 
y(1,:)=sic; % enter initial conds in y 
t(1)=a; 
for i=1:n 

t(i+1)=t (i) +h; 

y(i+1,:)=rk4step(t(i),y(i,:),h); 
end 
subplot (3,1,1); 
plot({a pa pa pb pb b],[0 0 pulse pulse 0 0]); 
grid;axis([0 100 0 2*pulse]) 
ylabel('input pulse') 
subplot (3,1,2); 


oe de oe oe 


6.4 Runge-Kutta 方法 及 其 应 用 299 


plot (t,y(:,1));grid;axis([0 100 -100 100]) 

ylabel('tvoltage (mV)') 

subplot (3,1,3); 

plot(t,y(:,2),t,y(:,3),t,y(:,4)):grid;axis([0 100 0 1]) 
‘gating variables') 

legend('m', 

xlabel('time (msec) ') 


function y=rk4step(t,w,h) 
%one step of the Runge-Kutta order 4 method 
sl=ydot (t,w); 

s2=ydot (t+h/2,w+h*s1/2) ; 

s3=ydot (t+h/2,w+h*s2/2); 

s4=ydot (t+h,w+h*s3) ; 

y=w+h* (s1+2*s2+2*s3+s4) /6; 


function z=ydot (t,w) 

global pa pb pulse 

c=1;g1=120;g2=36;g3=0.3;T=(pa+pb) /2;len=pb-pa; 
e0=-65;e1=50;e2=-77;e3=-54.4; 

in=pulse* (1-sign(abs(t-T)-len/2))/2; 

% square pulse input on interval [pa,pb] of pulse muamps 
vew(1) ;m=w(2) ;n=w(3) ;h=w(4); 

z=zeros (1,4); 
z2(1)=(in-g1*m*m*m*h* (v-e1) -g2*n*n*n*n* (v-e2) -g3* (v-e3) ) /c; 
v=v-e0; 

z(2)=(1-m)*(2.5-0.1*v) / (exp (2.5-0.1*v) -1) -m*4*exp(-v/18); 
z(3)=(1-n) *(0.1-0.01*v) / (exp(1-0.1*v) -1) -n*0.125*exp(-v/80); 
z(4)=(1-h) *0.07*exp (-v/20) -h/ (exp(3-0.1*v) +1); 


没有 输入 , Hodgkin-Huxley 神经 元 在 近似 Eo 的 电压 处 保持 静止 . 使 yy 是 
长 度 为 1 微 秒 和 强度 为 7 微 安 的 方 波 电流 脉冲 就 足以 造成 尖峰 信号 , 即 电压 的 极 
化 修正 . 图 6-16 说 明了 这 一 点 . 运行 这 个 程序 来 验证 6.9/4 不 一 定 造成 一 个 完整 
的 尖峰 信号 . 因此 产生 全 有 感应 或 全 无 感应 . 正 是 输入 中 微小 差别 的 极 大 放大 效应 
可 以 解释 信息 处 理 中 神经 元 的 成 功 . 图 6-16b 说 明 , 假如 输入 电流 持续 , 那么 神经 
元 将 周期 地 齐 射 尖峰 . 计算 机 问题 6 是 对 这 种 虚拟 神经 元 的 初期 能 力 的 研究 . 


6.4.3 ”计算 机 模拟 : Lorenz 方程 


在 20 世纪 50 年 代 后 期 , 麻 省 理工 学 院 的 气象 学 家 E. Lorenz 得 到 了 第 一 台 商 
用 计算 机 . 它 有 冰箱 那么 大 , 以 每 秒 60 次 乘法 的 速度 运转 , 借助 于 这 种 惊人 的 计算 
能 力 , 他 对 由 几 个 微分 方程 组 成 的 气象 模型 进行 了 有 意义 的 计算 , 这 些微 分 方程 像 
Hodgkin-Huxlay 方程 那样 , 不 能 用 解析 方法 求解 . 

Lorenz 方程 是 一 个 微型 大 气 模型 的 简化 形式 , 他 设计 这 个 模型 来 研究 Rayleih- 
Bénard 对 流 , 这 是 热 在 流体 (例如 空气 ) 中 从 较 低 的 热 介质 (例如 地 面 ) 到 较 高 的 
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冷 介 质 (例如 上 面 的 大 气 层 ) 的 运动 . 在 这 个 二 维 大 气 模型 中 形成 了 空气 循环 , 这 可 
用 以 下 的 3 个 方程 的 方程 组 来 描述 : 


a’ =—sx + sy, 
y =-rz+rz2—y, (6.53) 
2! =Ty — bz. 

变量 z 表示 顺 时 针 循 环 的 速度 , y 表示 上 升 和 下 降 空气 柱 之 间 的 温度 差 , 而 z 度量 
了 来 自 垂直 方向 的 严格 线性 温度 剖面 的 偏差 . Prandtl 数 s, Reynolds Mr Æ b 是 
方程 组 的 参数 . 在 大 多 数 情况 下 , 取 参 数 为 = 10,r = 28,b = $. 参数 的 这 些 取 法 用 
于 如 图 6-17 所 示 的 轨道 , 它 是 用 以 下 描述 微分 方程 的 代码 通过 4 阶 Runge-Kutta 
方法 计算 而 得 到 的 . 


function z=ydot (t,y) 
%Lorenz equations 

s=10; r=28; b=8/3; 
z(1)=-s*y(1)+s*y (2); 
2(2)=-y (1) *y (3) +r*y (1) -y (2) 
2(3) sy (1) *y (2) -b*y (3) 


a :本 
= aa Ha 
0 30 40 50 60 70 80 90 100 0 10 20 30 40 50 60 70 80 90100 


时 间 /ms 时 间 /ms 
(a) (b) 
图 6-16 Hodgkin-Huxiely 程序 的 屏幕 截图 : (a) 在 时 间 50 微 秒 处、1 
微 秒 期 间 的 大 小 为 Ier = THA 的 方 波 输入 使 模型 神经 元 立即 
发 射 (b) 以 Tea = THA 的 持续 平方 波 使 得 模型 神经 元 周期 性 
地 发 射 


SUR Lorenz 方程 是 确定 的 而 且 相 当 简 单 (几乎 线性 ), 但 因为 轨道 十 分 复杂 , 所 
以 Lorenz 方程 是 一 个 重要 的 例子 . 对 于 复杂 性 的 解释 类 似 于 双 摆 或 三 体 问题 : 即 
对 初始 条 件 的 敏感 依赖 性 . 计算 机 问题 8 和 问题 9 研究 了 这 种 所 谓 混沌 吸引 子 的 
敏感 依赖 性 . 
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图 6-15 Lorenz 方程 (6.53) 的 投影 到 zz 平面 上 的 一 条 轨道 : 取 参 数 
X s=10,r =28,b=8 


习题 6.4 


1. 用 中 点 方法 求解 以 下 初 值 问题 : 
(a) y=t (by=ty (co) y=2(t+Dy; 
(d) y =5ty; (e)y =1/y; (£) y=8/y. 
初始 条 件 是 y(0) = 1. RPK h = 4, 在 区 间 [0,1] 上 用 中 点 方法 计算 近似 解 ， 与 在 习题 
6.1.3 中 求 得 的 准确 解 进行 比较 , 并 求 + = 1 处 的 整体 截断 误差 . 
2. 对 以 下 初 值 问题 执行 习题 1 的 步骤 : 
(a) y'=t+y; (b)y =t-y (c)y' =4t- 
初始 条 件 是 y(0) = 0. 准确 解 在 习题 6.1.4 PRE. 

3. 对 习题 1 中 的 初 值 问 题 , 用 4 Br Runge-Kutta 方法 求解 . 取 步 长 h = 4, 计算 区 间 [0, 1) 
上 的 近似 解 . 与 习题 6.1.3 中 求 得 的 准确 解 进行 比较 , 并 求 t = 1 处 的 整体 截断 误差 . 

4. 对 习题 2 中 的 初 值 问题 , 执行 习题 3 的 步骤 . 

.对 任意 a A 0, 证 明 方法 (6.49) 是 二 阶 的 . 

6. 考虑 初 值 问 题 y = Ay, 其 解 为 y(t) = yor. (a) 对 这 个 微分 方程 用 RK4 通过 wo Hit 
算 wi. (b) 通过 令 wo = yo = 1 并 确定 y — wi 来 计算 局 部 截断 误差 . 证 明 局 部 截断 误 
差 的 大 小 是 O(h5), 就 像 4 阶 方法 所 预期 的 那样 . 

7. 假设 右 端 f(t,y) = Ae) 不 依赖 于 y. EHE 4 阶 Runge-Kutta 方法 中 sz = s3, 并 且 


RK4 等 价 于 积分 in f(s)ds 的 Simpson 法 则 . 


a 


计算 机 问题 6.4 


1. 在 [0,1] PAK h= 0.1 的 网 格 上 , 对 习题 1 中 的 初 值 问题 用 中 点 方法 求解 . 在 每 一 步 打 
印 t 值 、 近似 解 及 整体 截断 误差 的 表格 . 

2. 在 [0,1] PAK h= 0.1 的 网 格 上 , 对 习题 1 中 的 初 值 问题 用 4 阶 Runge-Kutta 方法 求 
解 , 在 每 一 步 打印 t 值 、 近 似 解 及 整体 截断 误差 的 表格 . 

3. 执行 计算 机 问题 2 中 的 步骤 , 但 是 对 步 长 h = 0.1, 0.05, 0.025 画 出 近似 解 和 真 解 . 
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4, 对 习题 2 中 的 方程 执行 计算 机 问题 2 中 的 步骤 . 

5. 对 习题 1 中 的 初 值 问 题 , 像 在 图 6-4 中 那样 , 把 RK4 在 t = 1 处 的 整体 误差 画作 h 的 函 
数 . 

6. 考虑 带 默认 参数 的 Hudgkin-Huxley 方程 (6.52). (a) 以 微 安 为 单位 , 尽 可 能 精确 地 求 出 
形成 1 微 秒 脉冲 尖峰 的 最 小 临界 值 . (b) 假如 脉冲 是 5 微 秒 长 , 答案 改变 吗 ? (c) 用 脉冲 
的 形状 进行 试验 . 一 个 所 围 面 积 相等 的 三 角形 脉冲 与 正方 形 脉冲 造成 相同 的 影响 吗 ? (d) 
对 常数 持续 输入 讨论 临界 值 的 存在 性 . 

7. 修改 MATLAB 程 度 orbitm , 用 4 阶 Runge-Kutta 方法 , 取 步 长 h = 0.001, R Lorenz 
方程 的 解 . 画 出 满足 初始 条 件 (zo, yo, 20) = (5,5,5) 的 轨道. 

8. 通过 以 下 两 个 从 很 接近 的 初始 条 件 得 到 的 两 条 轨道 来 估计 Lorenz 方程 的 条 件 作用 , 考虑 
初始 条 件 (x,y,z) = (5,5,5) 及 离 第 一 个 初始 条 件 距 离 为 A = 107 的 另 一 个 初始 条 件 . 
取 步 长 h = 0.001, 用 4 Bt Runge-Kutta 方法 计算 这 两 条 轨道 , 并 且 计 算 t=0 和 t= 20 
时 间 单位 处 的 误差 放大 因子 . 

9. 如 同 在 计算 机 问题 8 中 那样, 观察 初始 条 件 十 分 接近 的 Lorenz 方程 的 两 条 轨道 . 对 每 一 
条 轨道 构造 一 个 由 0 和 1 组 成 的 二 进 制 符号 序列 : 在 图 6-17 中 , 如 果 轨 道 经 过 “ 负 z” 
HA, 就 是 0; MRCAMIEM, 就 是 1. 这 两 条 轨道 的 符号 序列 在 多 少时 间 内 是 一 致 的 ? 


实例 检验 6 塔 科 马 海峡 大 桥 


最 近 McKenna and Tuama[18] 提出 了 企图 寻找 塔 科 马 海峡 大 桥 事 故 的 数学 模型 . 目的 是 
解释 通过 严格 垂直 的 外 力作 用 , 扭曲 或 扭转 的 振荡 是 如 何 被 放大 的 . 

考虑 宽 21 的 桥 面 吊 在 两 要 悬挂 着 的 缆 索 之 间 . 如 图 6-18a 所 示 . 在 这 个 模型 中 我 们 将 考 
虑 桥 的 二 维 浒 片 ， 忽 略 桥 的 长 度 这 一 维 , 这 是 因为 我 们 仅仅 对 这 边 到 那 边 的 运动 有 兴趣 ， 静止 
状态 时 , 由 于 重力 , 桥 面 吊 在 某 一 平衡 高 度 ; 令 y 表示 桥 面 中 心 在 这 个 平衡 位 置 下 面 的 距离 . 

Hooke 定律 假设 线性 力 , 这 意味 着 费 索 所 用 的 回复 力 将 正比 于 位 移 , 设 9 是 桥 面 与 水 平方 
向 所 成 之 角 . 有 两 根 分 别 从 平衡 位 置 延伸 y 一 1sin9 和 y+ lsin HARAR. Be HEME 
项 正比 于 速度 . 利用 Newton 定律 F = ma 并 用 K 表示 Hooke 常数 , 关于 y 和 0 的 运动 方 
程 如 下 : 

y" = -dy' — [žo —Isin 8) + Ky +tsino)| ; 
3cosb E 
l m 

然而 ,Hooke 定律 是 为 弹簧 设计 的 , 不 管 压缩 还 是 拉 伸 弹簧 , 回复 力 大 体 是 相等 的 .Mckenna 
和 Tuama 假设 在 拉 伸 时 拉 回 的 力 比 在 压缩 时 推 回 用 力 更 多 (把 弹簧 想象 成 极端 的 例子 )， 他们 
用 一 种 非 线性 f(y) = (k/a)(e*Y — 1) 代替 Hooke 定律 中 的 回复 力 f(y) = ky. 如 图 6-18b 所 
T. 这 两 个 函数 在 y = 0 处 都 有 相同 的 斜率 K; 但 是 对 于 非 线性 力 , 正 的 y( 拉 伸 的 线索 ) 造成 
的 回复 力 能 比 负 的 y( 松 弛 的 费 索 ) 相应 的 回复 力 更 强 . 在 前 面 的 方程 中 进行 这 种 代替 便 得 到 


6” = —d6! + 


(y—tsing) — Kut tsind)] : 


y” =—dy' — K [ee 1+ervtising) _ 1) ， 
ma 


(6.54) 
o" = a6’ + 3cos@ K [erate A paian] . 
l ma 


6.4 Runge-Kutta 方法 及 其 应 用 ”303 


当 方程 成 立时 , 状态 y = y = 9 = 6 = 0 就 是 一 种 平衡 .现在 话题 转向 风 . 把 受 力 项 
0.2W sin wt 加 到 y 方程 的 右 端 , 这 里 W 是 风速 ( 千 米 /小 时 ). 这 就 对 桥 加 上 了 严格 垂直 的 振 
#. 


图 6-18 ” 塔 科 马 海峡 大 桥 的 McKenna-Tuama 模型 示意 图 : (a) y 表示 
桥 面 中 心 到 它 的 平衡 位 置 的 距离 , 桥 面 与 水 平 的 方向 夹 角 为 0; 
(b) 指数 型 Hooke 定律 曲线 f(y) = (k/a)(e*” — 1) 


对 物理 常数 可 以 做 出 有 用 的 估计 . 一 英尺 长 的 桥 面 质量 大 约 是 2 500 千克 . 弹簧 常数 K 已 
被 估计 为 1 000 牛顿 , 桥 面 的 宽大 约 12 米 . 对 于 这 种 模型 , 阻尼 系数 设 为 d = 0.01, Hooke 非 线 
性 系数 a = 0.2. SHAW ARA, 观察 者 注意 到 在 一 分 钟 内 桥 垂 直 振荡 38 次 : 取 w = 2x(38/60). 
这 些 系数 仅仅 是 一 种 猜测 ， 但 是 它们 足以 显示 与 大 桥 最 后 振荡 的 事故 照片 相 匹配 的 运动 的 范 
围 . 运行 模型 (6.54) 的 Marian 代码 如 下 : 
%Program 6.6 Animation program for bridge using IVP solver 
%Inputs: int=[a b] time interval, 
sic=(y(1,1) y(1,2) y(1,3) y(1,4)], 
th=stepsize, p=steps per point plotted 
%Calls a one-step method such as trapstep.m 
%Example usage: tacoma({0 1000],[1 0 0.001 0],.04,3) 
function tacoma(inter,ic,h,p) 


elf % clear figure window 
asinter(1);b=inter (2) ;n=ceil((b-a)/(h*p)); % plot n points 
y(1,:)sic; % enter initial conds in y 

t (1) =a;len=6; 

set (gca, 'XLim', [-8 8],'YLim',[-8 8], 


'XTick', [-8 0 8], 'YTick',[-8 0 8], 
‘Drawmode','fast', 'Visible','on', 'NextPlot', 'add'); 


cla; % clear screen 

axis square % make aspect ratio 1-1 

road=line('color','b','LineStyle','-','LinewWidth',5, 
‘erase’, 'xor','xdata',[],'ydata',[]); 

leable=line('color','r','LineStyle',‘-', 'LineWidth‘',1,... 
‘erase','xor','xdata',[],'ydata',(]); 

reable=line('color','r', 'LineStyle','-', 'LineWidth',1,... 
‘erase’, 'xor','xdata',[],'ydata',{]); 


for k=1:n 
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for i=1:p 
t(i+1)=t (i)+h; 
y(i+1, :)=trapstep(t (i),y (i,:),h); 
end 
y(1,:)=y(p+1,:);t(1)=t(p+1); 
z1(k)=y(1,1);z3(k)=y (1,3); 
c=len*cos (y (1,3));s=len*sin(y(1,3)); 
set (road, 'xdata',[-c c],'ydata', [-s-y(1,1) s-y(1,1)]) 
set (lcable, 'xdata',[-c -c],'ydata', [-s-y (1,1) 8]) 
set (rcable, 'xdata',[c c],'ydata',[s-y(1,1) 8]) 
drawnow; pause (h) 
end 


function y=trapstep(t,x,h) 

tone step of the Trapezoid Method 
zl=ydot (t,x); 

g=x+h*z1; 

z2=ydot (t+h,g); 

y=x+h* (z1+z2) /2; 


function ydot=ydot (t,y) 

len=6;a=0.2; W=80; omega=2*pi*38/60; 

al=exp(a* (y(1)-len*sin(y(3)))); 
a2=exp(a*(y(1)+len*sin(y(3)))); 

ydot (1) =y (2); 

ydot (2)=-0.01*y(2)-0.4* (al+a2-2) /a+0.2*W*sin(omega*t) ; 
ydot (3) =y (4); 

ydot (4)=-0.01*y (4) +1.2*cos (y (3) )* (al-a2) /(len*a) ; 


建议 习题 


1. 


在 风速 W=80 千 米 / 小 时 及 初始 条 件 y = y = 8' = 0,0 = 0.001 下 运行 tacoma.m. 假如 
9 的 小 干扰 衰减 , 那么 桥 在 扭转 方面 是 稳定 的 , 如 果 它 们 的 增长 远 远 超过 原来 的 大 小 就 不 
稳定 , 对 于 W 的 这 种 值 会 出 现 哪 一 种 情形 ? 


. 用 4 BY Runge-Kutta 方法 代替 梯形 方法 来 提高 精度 ， 并 加 入 新 的 图 像 视窗 画 出 y(t) 


和 8(t). 


.对 W=50 千 米 /小 时 , 方程 组 在 扭转 方面 是 稳定 的 . 对 于 小 的 初始 角 求 放大 因子 , B, 设 


9(0) = 107", 求 最 大 角 9(t)(0 < 上 < o0) 对 t(0) 的 比 . 对 初始 角 9(0) = 1074, 1075,- - 
放大 因子 是 否 近似 地 一 致 ? 


. 求 最 小 风速 W, 使 得 对 于 小 干扰 0(0) = 10° 有 100 或 者 更 大 的 放大 因子 . 对 这 个 W 


能 定义 一 致 的 放大 因子 吗 ? 


.设计 并 执行 一 种 方法 来 计算 第 4 步 中 的 最 小 风速 , 使 其 在 0.5 x 1073 千 米 /小 时 内 . 可 以 


用 第 1 章 中 的 一 种 方程 解法 . 


. 用 几 种 较 大 的 W 值 试 一 下 . 所 有 非常 小 的 初始 角 最 终 是 否 发 展 到 灾难 性 的 大 小 ? 


这 个 项 目 是 实验 数学 的 一 个 例子 .方程 太 难以 致 不 能 求 得 封闭 形式 的 解 ， 甚 至 也 难以 证 
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明 关于 它 的 定性 的 结论 . 有 了 可 靠 的 常 微分 方程 解法 , 我 们 可 以 对 各 种 参数 设置 产生 数值 
轨道 , 以 说 明 适用 于 这 个 模型 的 现象 的 类 别 . 运用 这 种 方式 , 微分 方程 模型 就 可 以 预测 科 
学 和 工程 问题 中 的 未 来 表现 并 和 弄 清楚 其 中 的 机 理 . 


6.5 ” 变 步 长 方法 


直到 现在 , 在 常 微分 方程 解法 的 执行 过 程 中 , 步 长 h 一 直 作为 常数 . 但 是 没有 
理由 要 求 h 在 解 的 过 程 中 不 改变 . 要 改变 步 长 的 原因 是 为 了 求 得 运动 在 变化 慢 的 
时 段 和 变化 快 的 时 段 之 间 的 解 .使 得 固定 步 长 充分 小 以 精确 地 追踪 快速 变化 意味 
着 其 余 的 解 是 极 慢 地 求 得 的 . 

本 节 讨 论 控制 常 微分 方程 解法 的 步 长 的 策略 . 最 常见 的 逼近 用 两 种 不 同 阶 的 解 
法 , CAIN RAT. 


6.5.1 A Runge-Kutta 对 


变 步 长 方法 的 关键 思想 是 控制 由 目前 步 长 所 产生 的 误差 使 用 者 设置 一 个 适 
合 目前 步 长 的 误差 容 限 . 然后 方法 被 设计 为 (1) 假如 超出 误差 容 限 , 则 否决 这 一 步 
并 减 小 步 长 ， 或 者 (2) 假如 符合 误差 容 限 , 则 接受 这 一 步 然后 选取 适合 下 一 步 的 步 
长 h 关键 的 要 求 是 用 某 种 方法 近似 计算 在 每 一 步 产生 的 误差. 首先 假设 我 们 已 找 
到 这 样 一 种 方法 并 解释 如 何 改变 步 长 . 

改变 步 长 的 最 简单 方法 是 根据 目前 的 误差, 对 步 长 加 倍 或 减 半 . 把 误差 估计 ei 
或 相对 误差 估计 i 与 误差 容 限 进行 比较 (这 里 及 本 节 其 余部 分 , 我 们 将 假定 求解 
的 常 微分 方程 组 包括 一 个 方程 , 把 本 节 中 的 思想 推广 到 高 维 是 相当 容易 的 )， 假 如 
误差 容 限 不 满足 , 这 一 步 就 要 用 新 步 长 等 于 y 来 重复 . 假如 误差 容 限 满足 得 很 好 ， 
譬如 说 误差 小 于 误差 容 限 的 b, 那么 在 接受 这 一 步 后 , 下 一 步 步 长 加 信 . 

用 这 种 方法 , 步 长 将 被 自动 调节 到 这 样 一 种 大 小 : 它 保持 (相对 ) 局 部 截断 误 
差 接近 使 用 者 所 要 求 的 水 平 . 根据 实际 背景 需要 无 论 使 用 绝对 误差 或 相对 误差, 一 
种 一 般 目的 的 好 的 技巧 是 用 混合 zaii 与 误差 容 限 进行 比较 , 这 里 常数 9 > 0 
以 免 非常 小 的 wi A. 

更 复杂 的 方法 是 根据 常 微 分 方程 解法 的 阶 的 知识 选取 适当 的 步 长 ， 假 定 这 种 
解法 有 阶 , 那么 局 部 截断 误差 6 = OPH). 设 是 使 用 者 在 每 一 步 所 允许 的 相 
对 误差 容 限 . 这 就 意味 着 目标 是 保证 é < T. 

假定 目标 gh < 了 满足 , 那么 采用 这 一 步 , 并 且 需 要 下 一 步 的 新 步 长 . 假设 


ei œ ch?! (6.55) 
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对 某 个 常数 c 成 立 , 最 佳 符合 误差 容 限 的 步 长 h 满足 


Twi| = ch?+!. (6.56) 
从 方程 (6.55) 和 (6.66) 解 出 h 得 到 
h, = 0.8 * (==) Bi (6.57) 


这 里 , ATH, 我 们 已 加 了 一 个 安全 因子 0.8. 于 是 下 一 个 步 长 将 取 为 hiyi = 

另 一 方面 , 假如 相对 误差 没有 满足 目标 Sh < T, 那么 作为 第 二 次 尝试 , W hi 
为 h.. 因为 有 安全 因子 , 这 应 该 是 足够 的 . 但 是 , 假如 第 二 次 尝试 也 没有 满足 这 个 
目标 , 那么 步 长 就 简单 地 减 半 . 继续 这 种 方法 有 到 目标 达到 为 止 . 正如 为 了 更 一 般 
的 目的 所 令 述 的 , 相对 误差 应 该 被 aiara 所 代替 . 

上 述 中 , 无 论 是 简单 的 方法 还 是 复杂 的 方法 , 都 以 某 种 方式 异常 地 依赖 目前 步 
的 常 微分 方程 解 的 误差 ei = |wi+l — yil 的 估计 . 一 个 重要 的 约束 是 得 到 这 种 估 
计 不 需要 大 量 额外 的 计算 . 

得 到 这 种 误差 估计 的 用 得 最 广泛 的 方法 是 采用 一 种 与 感 兴趣 的 常 微分 方程 解 
法 平行 的 高 阶 常 微分 方程 解法 . 这 种 高 阶 方法 对 wi ( 称 它 为 zi+1) 的 估计 将 比 原 
来 的 wip 更 为 精确 , 所 以 用 差 


ei |zit1 — witi| (6.58) 


作为 从 te 到 tina 的 当前 步 的 一 种 误差 估计 . 

按照 这 种 思想 已 经 建立 了 Runge-Kutta 方法 的 几 种 “对 ”: 一 个 p 阶 而 另 一 个 
是 2+1 阶 的 , 它们 共享 必需 的 计算 (没有 大 量 额外 的 计算 ). 在 这 种 方法 中 , 步 长 控 
制 的 额外 代价 保持 很 低 . 这 种 “对 ”常常 称 为 能 入 Runge-Kutta 对 . 

例 6.19 RK2/3, 一 个 Runge-Kutta 2 阶 /3 阶 峙 入 对 的 例题 . 

显 式 梯形 方法 能 与 3 Wr Runge-Kutta 方法 配对 , 得 到 适 于 步 长 控制 的 一 种 嵌 
入 对 . 令 


31 十 32 
wir = wi +h, 


s 4s +s: 
Zit. = wi th, 


= f(ti,wi), 
s2 = f(ti+h, adalat 
anf (n+ + 5h wit pete). 
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在 前 面 的 方程 中 ,wi+1 是 梯形 步 , 而 zi+1 表示 一 种 3 阶 方法 , 它 需 要 后 面 表 出 的 3 
个 Runge-Kutta 级 . 这 种 3 阶 方法 恰巧 把 数值 积分 中 的 Simpson 法 则 应 用 到 了 微 
分 方程 的 内 容 中 . 从 这 两 个 常 微分 方程 解法 中 , 通过 两 个 近似 解 相 减 就 能 够 求 得 误 
差 估计 : 


pitate > (6.59) 


ei © |ui+l — Zita] = 
使 用 这 种 对 局 部 截断 误差 的 估计 , 就 可 以 执行 前 面 描述 的 任 一 种 步 长 控制 草案 . 
尽管 对 于 wn 来 说 步 长 草案 已 经 确定 , 但 它 对 前 进一步 使 用 较 高 阶 的 近似 
ziy 更 有 意义 , 因为 它 是 通用 的 . 这 就 叫做 局 部 外 推 (local extrapolation). 
例 6.20 Bogacki-Shampine 2 阶 /3 阶 柑 入 对 . 
MATALAB 在 它 的 ode23 命 令 中 使 用 不 同 的 嵌入 对 . 令 
sı =f (ti, wi), 


1 1 
s2=f (« + ah wit+ zrs) ， 


3s3 一 人 十 Show, + jhe) P 
4 4 (6.60) 


Zi+ı =Wi + Fees + 382 + 483), 
s4 = f (t + h, zi+1), 
Witl =Wi + Fer + 682 + 833 + 384). 
可 以 验证 ziyi 是 3 阶 近似 , 而 wins 尽管 有 4 级 但 只 是 二 阶 的 . 步 长 控制 需要 的 误 
差 估 计 是 x 
@i=|zit1— witi| = z! — 5s1 十 6s2 + 833 一 9s4|. (6.61) 
注意 , 只 要 s4 被 接受 , 在 下 一 步 s4 变 成 s1, 所 以 没有 浪费 的 步骤 : 3 阶 Runge- 
Kutta 方法 无 论 如 何 至 少 需要 3 级 . 这 种 二 阶 方法 的 设计 叫 FSAL(First Same As 
Last). < 
6.5.2 4/5 阶 方法 
例 6.21 Runge-Kutta-Fehlberg 4 阶 /5 MRAR. 
sı =f(ti,wi), 
s2=f 人 十 也 十 Ym) š 
“=f (t+ Shw t a 
s4=f (s+ Bh + : 932 hot cm a 


9 
hs; + nh) š 


2 
3 2197" ~ Zig? + 3 hss) ， 
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439 3 680 845 
ss=f 人 十 加 ti 十 216" — 8hs2 + 513 hs3 一 T se) i 
1 8 1 859 11 
86 =f (« + 2h 一 27hs1 + 2hs2 一 2 i has + 4 1044 一 Hass) ` a 
25 。 | 1408。 2197, 1 É 
wtih (Fen + 2565°9 t 4104 - iss) 
2 tn (28, + 0656, , 28561, 9。， 2 
ie 135° * 12 825° * 56 430°! 50°° t 55°°) 
可 以 验证 ziyi 是 5 阶 近似 , 而 wins 是 4 阶 . 步 长 控制 所 需要 的 误差 估计 是 
1 128 2 197 2 
6i = [ii winl = alga 275 75240%+ 5 + 55% (6.63) 


< 

Runge-Kutta-Fehlberg 方法 (RKF45) 是 目前 最 著名 的 变 步 长 单 步 方 法 ， 其 实 

现 起 来 很 简单 , 由 前 面 的 公式 给 出 . 使 用 者 必须 设置 一 个 相对 误差 容 限 了 和 初始 步 
Kh. UH wi, 和 eo 之 后 ,对 i=0 ae 


<T. (6.64) 


fal 
假如 成 功 , 就 把 新 的 w， 代替 为 局 部 外 推 式 zi, 并 且 程序 进入 下 一 步 . 另 一 方面 ， 
假如 相对 误差 测试 (6.64) 失败 , 那 这 一 步 再 尝试 一 遍 , 这 时 的 步 长 h 由 (6.57) 在 
p= 4( 即 产生 wi 的 方法 的 阶 ) 给 定 .[ 如 果 重 复 失败 (这 是 不 大 可 能 的 ), 就 把 步 长 减 
半 直 到 成 功 ] 不 管 何 种 情形 , 下 一 步 的 步 长 h, 应 该 从 (6.57) 中 计算 得 到 . 
$i] 6.22 Dormand-Prince 4 阶 /5 MAX. 


=f (ti, wi); 


1 1 
sg =f (e+ Pe + Bh) 


3 3 9 
ss=f (« 十 To” wi 十 pt + $ra) í 


4 44, 56, 32 
s=f (« + gh, wit gehsi 15hs2+ hsa) ` 
<5 (igs Bray tn (232, 25300, 64448, 212, 
BTI eT iit 6561! 2187"? | 6561 °° 729% 
9017, 355, , 46732 , 49 5103 
人 eutn ar 168°! 33° * 5247 °° * 1764 18 55°) ) 


+h 500 , 125, 2187。 L 
ae T1113 * 92 6784" + a 


87 =f (tit h, 241), 
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5179 ,7571 393, 92007 | | 187 | 1, 
57600’ 16695 3 640° 339200° 2100 °" 40°)" 
(6.65) 


可 以 验证 xs+l 是 5 阶 近似 , 而 wi 是 4 阶 . 步 长 控制 所 需要 的 误差 估计 是 


wn = th ( 


mo 7 Tl 17253。 22。 1 
57 600°? 16695°° 1920°* 339 200°" 525°° 40 


87]. 
(6.66) 

再 次 用 了 局 部 外 推 , 意味 着 这 一 步 由 zn 向 前 推进 而 不 是 wig. 注意 , 事实 
上 不 需要 计算 wi+l: 对 于 误差 的 控制 仅 需要 ei. 像 Bogacki-Shampine 方法 一 样 , 这 
是 一 种 FSAL 方法 , 因为 如 果 sy 能 被 接受 , 在 下 步 中 sy BM s1. 这 里 没有 多 余 的 
BRM, 可 以 证 明 5 阶 Runge-Kutta 方法 至 少 需要 6 级 . 4 

MATALAB 命 令 ode45 用 Dormand-Prince 嵌入 对 以 及 步 长 控制 (大 致 如 前 所 述 ). 
使 用 者 可 以 把 相对 误差 容 限 T 设置 成 所 需要 的 . 可 以 把 微分 方程 的 右 端 规定 在 函 
数 文 件 中 . 例如 定义 包括 二 行 的 文件 f .mn 


function y=f(t,y) 
yet*y+t%3; 


命令 


>> OpPts=odeset ('RelTol',le-4, 'Refine',1,'MaxStep',1); 

>> ([t,y]=ode45('f',[0 1],1,opts); 
将 解 出 例 6.1 中 带 有 初始 条 件 yo = 1 的 初 值 问题 , 而 且 相对 误差 容 限 T = 0.000 1. 
假如 没有 设置 参数 RelTol, 就 使 用 默认 的 0.001. 注意 输入 到 ode45 的 函数 f 必须 是 
两 个 变量 的 函数 , 这 里 是 t 和 y, 即使 其 中 一 个 没有 出 现在 函数 的 定义 中 . 可 以 在 
不 出 现 函数 文件 的 情况 下 , 通过 定义 函数 “内 联 ” 运 行 这 个 命令 . 


ei=|zi+ı 一 wisal=A| 


>> [t,y]=ode45(inline('t*y+t*3','t','y'), [0 1],1,opts); 
使 用 前 面 对 这 个 问题 设置 的 参数 , ode45 的 输出 结果 见 表 6-6. 
表 6-6 
步 长 t: w Yi ei 


0 0.000 000 00 1,000 000 00 1.000 000 00 0000 000 60 
1 0.540 212 87 1.179 468 18 1.179 463 45 0.000 004 73 
2 1.000 000 00 1.946 178 12 1.946 163 81 0.000 014 31 
假如 使 用 10-s 作为 相对 误差 容 限 , 输出 结果 见 表 6-7. 
尽管 步 长 是 为 win 充分 设计 的 , 但 使 用 的 是 =+1 而 不 是 win, 因为 局 部 外 推 ， 
所 以 近似 解 更 能 满足 相对 误差 容 限 . 这 是 我 们 能 做 得 最 好 的 . 假如 有 对 zi+1 的 误 
差 估 计 , 我 们 就 能 使 用 它 把 步 长 调节 得 更 好 , 但 是 并 没有 这 种 估计 . 还 注意 解 精 确 
地 停 在 区 间 [0,1] 的 末端 , 这 是 因为 ode45 检测 区 间 的 末端 并 把 步骤 截 短 到 必要 
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的 程度 . 


表 67 

步 长 ti wi Yi ei 

0.000 000 00 1.000 000 00 1.000 000 00 0.000 000 00 
0.215 06262 1.023 934 40 1.023 934 40 0.000 000 00 
0.430 125 24 1.105 74441 1.105 74440 0.000 000 01 
0.686 077 29 1.325 356 58 1.325 356 53 0.000 000 05 
0.911 92246 1.715 151 56 1.715 151 44 0.000 000 12 
1.000 000 00 1.946 163 94 1.946 163 81 0.000 000 13 


为 了 看 清 ode45 如 何 进行 它 的 步 长 选择 , RAAME odeset tr HF ILAE 
本 的 默认 设置 . 参数 Refine 一 般 会 增加 记录 的 解 值 的 数量 , 它 比 用 方法 计算 得 到 的 
要 多 以 作出 更 漂亮 的 图 , 只 要 输出 用 于 这 个 目的 . 默认 值 是 4, 这 造成 必要 的 点 数 
的 4 倍 被 输出 . 参数 Maxstep 赋 于 步 长 h 的 上 限 , 为 区 间 长 度 的 b. 对 这 两 种 参数 
用 默认 值 意味 着 要 用 步 长 h = 0.1, 在 用 因子 4 改进 后 , 解 可 能 用 0.025 步 长 表 出 . 
事实 上 , 运行 没有 指定 输出 变量 的 命令 , 例如 


>> opts=odeset ('RelTol',1e-6); 
>> ode45(inline('t*y+t*3','t','y'), [0 1],1,opts); 


将 使 MATLAB 自 动画 出 在 常数 步 长 0.025 的 网 格 上 的 解 . 如 图 6-19 所 示 . 
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图 6-19 MATLAB 的 ode45 命 令 : 计算 出 例 6.1 中 的 初 值 问 题 的 解 , 准确 
到 107° 


虽然 我 们 有 意 把 变 步 长 Runge-Kutta 方法 当 作 最 好 的 常 微分 方程 解法 , 但 也 


有 一 些 方程 类 型 它 处 理 得 不 好 . 下 面 是 一 个 特别 简单 的 例子 : 
例 6.23 ”用 ode45 求 解 初 值 问 题 
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y =10(1—y), 
1 
yo)= 3, (67) 
te [0, 100], 
要 求 相对 误差 容 限 为 10-. 

这 能 用 下 面 3 行 MArrAB 代 码 完成 . 

>> opts=odeset ('RelTol',1e-4); 

>> [t,y]=ode45(inline('10*(1-y)','t','y'), [0 100],.5,opts); 


>> length(t) 


ans= 1241 
>> 


我 们 已 经 打印 出 步 数 , 因为 它 看 似 过 大 . 这 个 初 值 问 题 的 解 容易 确定 : y(t) = 
1 一 e109t/2. 对 t> 1, 这 个 解 已 经 达到 它 的 平衡 位 置 1, 精确 到 4 位 小 数 , 而 且 它 决 
不 会 离开 1 更 远 . 应 用 小 于 0.1 的 平均 步 长 ,ode45 依 然 缓慢 地 运动 . 为 什么 如 此 保 
守 的 步 长 选择 却 得 到 一 个 理想 的 解 ? 

通过 观察 图 6-20 中 的 ode45 的 输出 , 部 分 答案 就 清楚 了 . 尽管 这 个 解 非常 接近 
1, 但 算法 连续 地 过 调 以 企图 近似 得 更 好 . 微分 方程 是 “刚性 的 ”这 个 术语 将 在 6.6 
节 中 正式 定义 . 对 于 刚性 方程 , 数值 解 中 的 不 同 策略 大 大 地 增加 了 解 的 效率 . 例如 ， 
当 使 用 一 个 MATLAB 的 刚性 解法 时 , 注意 所 需要 的 步 又 的 差别 . 
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图 6-20 Bi 6.23 中 的 初 值 问题 的 数值 解 : (a) 使 用 ode45 需 要 每 单位 时 


间 超 过 10 步 使 相对 误差 容 限 在 10 之 内 ; (b) 使 用 ode23, 需 
要 的 步 数 要 少 得 多 


>> opts=odeset ('RelTol',1e-4); 
>> [t,y]=ode23s(inline('10*(1-y)','t','y'), [0 100],.5,opts); 
>> length(t) 
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ans= 
39 
>> 


6-20b 画 出 了 解法 ode23s 得 到 的 解 点 . 为 了 保证 数值 解 在 误差 容 限 之 内 , 只 
需要 相对 少 的 点 . 6.6 节 将 研究 如 何 建立 处 理 这 种 困难 类 型 的 方法 . < 


计算 机 问题 6.5 
1， 写 出 RK23( 例 6.19) 的 MATLAB 程 序 , 并 用 来 求 在 习题 6.1.3 中 的 初 值 问题 的 近似 解 , 要 
RE [0,1] 的 相对 误差 容 限 为 10-s. 要 求 程序 恰好 在 终点 t= 1 停止. 记录 所 用 的 最 大 步 
长 和 步 数 . 

.把 计算 机 问题 1 中 的 结果 与 MATLAB 的 ode23 用 于 同一 问题 的 结果 进行 比较 . 

对 于 Runge-Kutta-Fehlberg 方法 RKF45, 执行 计算 机 问题 1 中 的 步骤 . 

， 把 计算 机 问题 3 的 结果 与 MATLAB 的 ode45 用 于 同一 问题 的 结果 进行 比较 . 

、 用 RKF45 的 MATLAB 程 序 , 求 习题 6.3.1 中 的 方程 组 的 近似 解 , 要 求 在 [0,1] 中 的 相对 
误差 容 限 是 107°. 记录 所 用 的 最 大 步 长 和 步 数 . 


mp 


6.6 ” 隐 式 方法 和 刚性 方程 


到 目前 为 止 , 我 们 已 经 提出 的 微分 方程 的 解法 都 是 显 式 的 (explicit), 即 新 的 近 
似 解 wi+l 可 以 通过 诸如 h, ti 及 w; 这 些 已 知 数据 来 显 式 地 表示 . 然而 某 些微 分 方 
程 不 适宜 用 显 式 方法 , 我 们 首先 来 解释 原因 . 在 例 6.23 中 , 复杂 的 变 步 长 解法 似乎 
花费 大 部 分 精力 用 于 过 调 在 一 个 方向 或 另 一 个 方向 的 准确 解 . 

在 比较 简单 的 实际 背景 中 , 能 够 较为 容易 地 了 解 刚性 现象 . 因此 , 我 们 从 Euler 
方法 开始 . 

例 6.24 ”对 于 例 6.23 使 用 Euler 方法 . 
WK h, Euler 方法 对 于 右 端 f(t,y) =10(1 — y) 是 


wis = wi + hf (ti, wi) = wi + h(10)(1 — wi) = wi(1 — 10h) + 10h. (6.68) 


由 于 解 是 y(t) = 1 一 e710:/2, 所 以 近似 解 最 终 必须 趋 于 1. 这 里 , 我 们 从 第 1 章 得 
到 一 些 帮 助 . 注意 (6.68) 可 以 看 成 g(z) = z(1 一 10h) + 10h 的 不 动 点 迭代 . 这 个 迭 
代 有 不 动 点 z = 1, 而 且 只 要 |g'(1)| = |1 — 10h| < 1, 它 将 是 收敛 的 . 解 这 个 不 等 式 
得 到 0 < h < 0.2. 对 任何 较 大 的 h, 不 动 点 将 排斥 附近 的 推测 , 因此 解 将 不 可 能 是 
精确 的 . 4 

图 6-21 表明 对 例 6.24 的 这 种 影响 . 解 非常 理想 : 一 个 吸引 人 的 在 y = 1 处 的 
平衡 . 步 长 h = 0.3 的 一 个 Euler 步 难以 求 得 平衡 位 置 , 这 是 因为 在 h 区 间 的 起 点 
和 终点 之 间 , 解 附 近 的 斜率 变化 很 大 . 这 就 造成 数值 解 的 溢出 . 
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具有 这 种 性 质 (吸引 解 被 附近 快速 改变 的 解 所 包围 ) 的 微分 方程 称 为 刚性 的 
(tiff). 这 经 常 是 方程 组 中 多 倍 尺度 的 信号 . 就 数量 而 言 , 它 相应 于 微分 方程 的 右 端 
f 关于 变量 y 的 线性 部 分 是 大 的 而 且 是 负 的 (对 方程 组 而 言 , 这 相应 于 线性 部 分 的 
特征 值 是 大 的 而 且 是 负 的 ). 这 个 定义 有 一 点 相对 , 但 这 是 刚性 的 本 质 : 越 大 而 且 越 
负 , 为 了 避免 过 调 那么 步 长 就 要 越 小 . 对 于 例 6.24, 刚性 是 通过 计算 在 平衡 解 y = 1 
处 的 $f = -10 而 度量 的 . 


图 6-21 Euler 步 和 后 向 Euler 步 的 比较 . 例 6.23 中 的 微分 方程 是 刚性 
的 . 平衡 解 y = 1 被 其 他 大 曲率 (斜率 变化 很 快 ) 的 解 所 包围. 
Euler 步 过 调 , 而 后 向 Euler 步 与 系统 的 动态 更 一 致 
解 图 6-21 所 描绘 的 问题 的 一 种 方法 是 , 多 多 少 少 从 区 间 (ti, ti +A) 的 右边 引入 
信息 , 而 不 是 仅仅 依靠 左边 的 信息 . 这 就 促使 我 们 得 到 以 下 Euler 方法 的 变形 . 


后 向 Euler 方法 


wo We (6.69) 
wit = wi + hf (tizi, Wi41). 


注意 其 中 的 区 别 : Euler 方法 用 左边 点 的 斜率 来 通过 区 间 , 后 向 Euler 方法 则 
用 某 种 方法 通过 区 间 使 得 斜率 在 右边 点 上 是 正确 的 . 

对 这 种 改进 必须 付出 代价 . 后 向 Euler 方法 是 我 们 的 隐 式 (implicit) 方法 的 第 
一 个 例子 , 即 这 种 方法 关于 新 的 近似 解 wi 并 不 直接 给 出 一 个 公式 . 相反 , 我 们 必 
须 做 一 点 工作 来 得 到 它 . 对 于 例子 y = 10(1 — y), 后 向 Euler 方法 给 出 


wits = wi + 10h(1 — wi41), 


经 过 一 些 代数 运算 之 后 , 就 能 表示 为 
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例如 , Kh = 0.3, 后 向 Euler 方法 给 出 wiy = (wi + 3)/4. 当 作 为 不 动 点 迭代 
w 一 g(w) = 对 时 , 我 们 又 能 估计 它 的 性 质 . 在 1 处 有 不 动 点 , 并 且 g/(1) = 3 <1, 
这 就 证 明了 对 平衡 真 解 y = 1 的 收敛 性 . 与 h = 0.3 时 的 Euler 方法 不 同 , 数值 解 
至 少 遵 守 正确 的 定性 性 质 . 事实 上 , 注意 不 管 步 长 h SAK, 后 向 Euler 方法 的 解 
收敛 于 y = 1( 习 题 3). 

在 有 刚性 方程 的 情况 下 , 因为 有 像 后 向 Euler 方法 这 样 的 隐 式 方法 的 较 好 性 质 ， 
计算 下 一 步 值得 多 做 一 些 额外 的 工作 , 即使 它 不 是 明显 可 得 到 的 . 对 于 求解 wiy, 
Bl 6.24 并 不 具有 挑战 性 , 这 是 由 于 微分 方程 是 线性 的 , 因此 , 为 了 求 值 有 可 能 把 原 
来 的 隐 式 公式 改变 成 显 式 . 然而 , 一 般 情 形 下 这 是 不 可 能 的 , 因此 我 们 需要 用 更 间 
接 的 方法 . 

把 隐 式 方法 用 于 求解 非 线性 方程 , 我 们 必 参 阅 第 1 章 . 不 动 点 迭代 和 Newton 
方法 都 经 常用 来 求 wiy. 这 意味 着 在 循环 推进 微分 方程 内 存在 方程 求解 的 循环 . 下 
面 的 例子 说 明了 如 何 做 到 这 一 点 . 

例 6.25 ”对 初 值 问 题 

y'= y + 8y? — 9y’, 
| v(0) = 5, 
t € [0,3], 
用 后 向 Euler 方法 求解 . 

像 前 面 的 方程 一 样 , 这 个 方程 有 一 个 平衡 解 y = 1. 偏 导数 BE = 1+16y 一 27y? 
在 y = 1 处 等 于 -10, 表明 这 个 方程 有 一 定 程度 的 刚性 . 类 似 于 前 面 的 例题 , 对 h 
将 有 一 个 上 界 , 这 样 Euler 方法 是 成 功 的 . 这 就 促使 我 们 尝试 后 向 Euler 方法 : 


Wit1 = wi + hf (ti+1, Wit1) = wi + h(wirl + Bw21 — 9w3,,). 


这 是 关于 wi+i 的 非 线性 方程 , 这 是 我 们 为 了 提出 数值 解 而 需要 求解 的 . 再 记 z = 
wizi, 我 们 必须 解 方程 z = wi + A(z + 8z? 一 923), 或 者 关于 未 知 量 z 求解 


9hz3 — 8hz? + (1—h)z— w; =0 (6.70) 


我 们 将 用 Newton 方法 来 说 明 . 
为 了 开始 Newton 方法 , 需要 一 个 初始 估计 . 能 想到 的 两 种 选择 是 : 前 面 的 近 

Mw; 和 Euler 方法 对 于 wiy 的 近似 . 尽管 由 于 Euler 方法 是 显 式 的 而 使 得 后 者 

容易 达到 , 但 是 , 如 图 6-21 所 示 , 对 于 刚性 问题 它 可 能 并 不 是 最 佳 选 择 . 此 时 , 我 们 

将 用 wi 作为 初始 估计 . I 
对 (6.70) 配置 Newton 方法 得 到 

Qhz3 — 8hz? + (1 — h)z — wi 


hz? —16hz+1—h (6.71) 


tg = 
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RH (6.71) 之 后 , 用 zg, 代替 z, 并 重复 进行 。 对 于 每 一 个 后 向 Euler 步 , 执行 
Newton 方法 , 直到 z 一 z 小 于 一 个 预 设 的 容 限 ( 比 在 近似 微分 方程 解 中 产生 的 误 
差 小 ). 

图 6-22 显示 对 于 两 个 不 同步 长 的 结果 . 另外 , 还 显示 了 Euler 方法 的 数值 解 . 
很 清楚 , Euler 方法 对 于 这 种 刚性 问题 而 言 五 = 0.3 EKAT. 另 一 方面 , 4 h 减 到 
0.15 时 , 两 种 方法 执行 的 水 平 大 概 相 同 . 
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1 2 3 0 1 
(a) (b) 
图 6-22 I 6.25 中 初 值 问题 的 数值 解 . 真 解 是 虚 曲 线 , 空 圆圈 表示 Eu- 
ler 方法 近似 解 ， 实 圆圈 表示 后 向 Euler 方法 : (a) h = 0.3, 
(b)=0.15 


像 后 向 Euler 方法 这 样 的 所 谓 刚性 解法 允许 有 足够 的 误差 控制 , 同时 采用 较 大 
的 步 长 , 提高 了 效率 . MATLAB ode23s 是 一 个 有 内 置 变 步 长 策略 的 较 高 阶 形式 < 


习题 6.6 

. 用 初始 条 件 y(0) = 0 和 步 长 h = 4, 在 [0,1] 区 间 计 算 后 向 Euler 近似 解 . 通过 与 在 习题 
6.1.4 中 求 得 的 准确 解 比较 , RE t= 1 处 的 误差 . 
(a) y'=t+y; (b)y =t-y (c) =4t— 2y. 

， 求 所 有 的 平衡 解 及 在 平衡 解 处 的 Jacobi 行列 式 的 值 . 方程 是 刚性 的 吗 ? 
(a) y=y-—y; (b)y =10y—10; (c) y'= —1l0siny. 

， 对 习题 6.24 证 明 , 对 每 一 种 步 长 h, 当 ti 一 co 时 后 向 Euler 近似 解 收敛 于 平衡 解 y = 1. 

。 考虑 线性 微分 方程 y' = ay + Ma <0). (a) 求 平衡 解 .(b) 对 方程 写 出 后 向 Euler 方法 . 
(c) 把 后 向 Euler 方法 看 做 不 动 点 选 代 , 证 明 这 种 方法 的 近似 解 当 t 一 oo 时 将 收敛 于 平 
‘BERR. 


计算 机 问题 6.6 


1. 把 Newton 方法 作为 一 种 解法 , 对 初 值 问题 应 用 后 向 Euler 方法 . 近似 解 鼻 近 哪 一 个 平 
衡 解 ? 应 用 Euler 方法 . 对 h 的 什么 近似 范围 , 可 以 用 Euler 方法 成 功 地 收敛 于 平衡 解 ? 


» 


Y 


e p 
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画 出 由 后 向 Euler 方法 给 出 的 近似 解 和 由 Euler 方法 用 过 分 大 的 步 长 所 给 出 的 近似 解 . 


y =y-y, y = by — 6y’, 
@) | yO)=3, (b) 9 v0) = 
t € [0, 20]; t € [0, 20]. 
2. 对 以 下 初 值 问题 执行 计算 机 问题 1 中 的 步 又 : 
y = by — 3y?, y' = 10%? — 10y*, 
(a) | y(0) = 5; (b) 4 (0) =3, 
t € [0, 20]; t € [0, 20]. 
6.7 多 步 方法 


我 们 已 研究 过 的 Runge-Kutta 族 由 单 步 方法 组 成 , 意 即 最 新 步 w+1 是 以 微分 
方程 以 及 前 一 步 的 值 wi 为 基础 生成 的 . 这 是 初 值 问题 本 质 的 表现 . 对 此 , 定理 6.2 
保证 从 任意 的 wo 出 发 有 唯一 解 . 

多 步 方法 提出 一 种 不 同 的 逼近 : 用 比 前 面 一 个 w 更 多 的 知识 去 帮助 产生 下 一 
步 . 这 将 导出 与 单 步 方法 具有 同样 阶 的 常 微分 方程 解法 , 但 是 许多 必需 的 计算 将 被 
在 求解 过 程 中 已 经 算得 的 值 的 插值 所 代替 . 


6.7.1 ”生成 多 步 方法 
作为 第 一 个 例子 , 考虑 以 下 两 步 方法 : 
Adams-Bashforth 两 步 方 法 


Witl = With (Brew = ptm] A (6.72) 


而 二 阶 中 点 方法 


win = wi thf (« + hwi + 和 em) 

每 一 步 需要 对 常 微分 方程 右 端 f 的 函数 进行 两 次 求 值 , 这 种 Adams-Bashforth 两 
步 方 法 每 步 仅 需 一 次 新 的 求 值 (一 次 储存 在 前 一 步 ). 随后 将 看 到 , (6.72) 也 是 一 个 
二 阶 方法 . 因此 , 多 步 方法 能 用 较 少 的 计算 而 达到 相同 的 阶 数 : 一 般 每 步 仅 计算 一 
个 函数 值 . 

因为 多 步 方 法 用 到 前 面 的 多 个 w 值 , 它们 需要 帮助 开始 启动 . s 步 方法 的 起 动 
阶段 一 般 包括 在 能 用 多 步 方 法 之 前 , 用 wo 产生 s - 1 个 值 wi, we, + ,ws-1 的 一 
步 方法 . 为 了 开始 , Adams-Bashforth 两 步 方法 (6.72) 需要 wi 以 及 给 定 的 初始 条 
件 wo. 以 下 Marian 代码 用 梯形 方法 产生 起 动 值 w. 命令 plot(t,y) 用 来 画 出 输 
出 结果 . 
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% Program 6.7 Multistep method 

% Inputs: [inter(1),inter(2)] time interval, 
% ic=[y0] initial condition, 

% h=stepsize, s=number of (multi)steps, e.g. 2 for 2-step method 
% Output:time steps t, solution y 

% Calls a multistep method such as ab2step.m 
% Example usage: exmultistep ([0,1],1,0.05,2) 
function [t,y]=exmultistep(inter,ic,h,s) 
n=round((inter(2)-inter(1))/h); 

% Start-up phase 

y(1,:)=ic;t(1)=int (1); 


for i s-1 % start-up phase, using one-step method 
t(i+1)=t (i) +h; 
y(i+1,:)=trapstep(t(i),y(i,:),h); 
£(i,:)sydot (t (i),y (i,:)); 

end 

for i=s:n % multistep method loop 


t(i+1)=t(i)+h; 
£(i,:)=ydot (t(i),y(i ) 
y(i+1,:)=sab2step(t(i),i,y,f,h); 
end 
function y=trapstep(t,x,h) 
tone step of the Trapezoid Method from section 6.2 
zlsydot (t,x); 
g=x+h*z1; 
z2=ydot (t+h,g); 
y=x+h* (z1+22) /2; 


function z=ab2step(t,i,y,f,h) 
tone step of the Adams-Bashforth 2-step method 
zay(i,:)+h*(3*£(i,:)/2-£(i-1,:)/2); 


function z=unstable2step(t,i,y,f,h) 
sone step of an unstable 2-step method 
ze-y(i,:)+2*y(i-1,:)+h*(5*f(i,:)/2+£(i-1,:)/2); 


function z=weaklystable2step(t,i,y,f,h) 
tone step of a weakly-stable 2-step method 
z=y (i-1, :)+h*2*f(i,:); 


function z=ydot(t,y) % IVP from section 6.1 
z=t*y+t^3; 
6-23a 表示 在 本 章 的 初 值 问 题 (6.5) 中 用 Adams-Bashforth 方法 的 结果 , 取 
HK h = 0.05 并 用 梯形 方法 求 起 动 值 . 图 6-23b 表示 使 用 不 同 的 两 步 方法 . 它 的 不 
稳定 性 将 是 在 6.7.2 节 中 稳定 性 分 析 的 主题 . 


— HR s TIO 
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tbo fi +--+ + bafis]. (6.73) 


(a) (b) 
图 6-23 ”用 于 初 值 问题 (6.5) 的 两 步 方法 ， 赴 曲 线 表示 准确 解 ， 步 长 
h=0.05. (a) Adams-Bashforth 两 步 方 法 如 圆 图 所 夯 .(b) 不 
稳定 方法 (6.81) HORS 


步 长 是 h, 而 且 我 们 用 方便 的 记号 
fi = f(t, wi). 


如 果 bo = 0, 则 方法 是 显 式 的 . 假如 bo ¢ 0, 则 方法 是 隐 式 的 . 随后 将 讨论 如 何 简单 
地 使 用 隐 式 方法 . 

首先 , 我 们 要 说 明 多 步 方法 是 如 何 导出 的 , 以 及 如 何 决定 哪 一 种 将 做 得 最 好 . 以 
相对 简单 的 两 步 方法 为 例 来 介绍 多 步 方法 . 一 般 的 两 步 方法 [在 (6.73) 中 令 s = 2] 
有 以 下 形式 ; 


Wit. = aw; 十 aqui-1 + Albofizi + bi fi + bo fia]. (6.74) 


为 了 建立 多 步 方 法 , 我 们 参考 Taylor 定理 , 因为 手法 仍 是 把 解 的 Taylor 展 式 
的 项 尽 可 能 多 地 与 方法 的 项 相 匹 配 . 余下 的 部 分 将 是 局 部 截断 误差 . 

假定 所 有 前 面 的 w 是 准确 的 , 即 在 (6.74) 中 wi = yi 及 wi-1 = yin. 由 微分 
方程 知 yi = fi, 所 以 所 有 的 项 都 能 如 下 Taylor 展开 : 


Witl =01Wi +azWi—1 + h[bofi+ı + bi fi + befi-r] 
pa Bon B m Bi om 
Saify] + azli — hyi + Su +a T] 
h? ht 
+ boly; + hy + Sui" + ey to] 
r 1 peyi Bam hi m 
+ bilhy;] + ba[hy; — hy; + qu Tg + J. 
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相 加 得 到 


wi+ı = (a1 + a2)yi+ (bo + i + bz — ag)hy; + (a2 一 2a + 2b) yl (6.75) 


+(—a2 十 3bo + 3b) ey yt’ + (a2 + 4bo — Abn) yn + 


通过 近似 地 选取 a; 和 bi, 可 以 使 得 局 部 截断 误差 yii — wins 尽 可 能 小 , 只 要 
所 包含 的 导数 精确 地 存在 , 这 里 


m 


2 
Wt (6.76) 
下 面 我 们 将 研究 可 能 性 


6.7.2 ” 显 式 多 步 方法 


为 了 得 到 显 式 方法 , 令 bo = 0. 通过 匹配 (6.75) 和 (6.76) 中 的 项 直到 包含 h? 
项 , 使 局 部 截断 误差 为 O(h3), 就 能 建立 一 个 二 阶 方法 .比较 同类 项 系数 得 到 方程 


组 
al +a =l, 
—a2 +6, +b =1, (6.77) 
az — 2b2 =1. 


这 里 有 4 个 未 知 量 和 3 个 方程 , 所 以 将 可 能 求 得 无 穷 多 种 显 式 的 二 阶 方法 (其 中 一 
个 解 相应 于 3 阶 方法 , 见习 题 3). 注意 上 面 的 方程 可 以 用 ai 来 表示 : 


a2 =1—al, 
1 
bı =2— 541, (6.78) 
1 
bg = -a 
局 部 截断 误差 将 是 
vies = wa = ghol Fm + O(n) 
1-3 4 CA 
= tanay + oft) = Any + O(n). 
亮点 复杂 性 


对 单 步 方法 来 讲 , 多 步 方法 的 优点 是 显然 的 . 在 最 初 若干 步 之 后 , 只 
需要 对 右 端 函数 作 一 次 新 的 计算 . 而 对 于 单 步 方法 , 一 般 需 要 几 次 函数 计 
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算 . 例如 4 阶 Runge-Kutta 方法 每 步 需要 计算 4 次 函数 值 , 而 4 阶 Adams- 
Bashforth 方法 在 起 动 阶段 后 仅 需 要 1 次 . 


可 以 任意 设置 a: 任意 一 种 选择 都 导出 一 种 二 阶 方法 , 如 前 所 示 . Ha = 1 
vey Adams-Bashforth 方法 (6.72)， 由 第 一 个 方程 知 az = 0, 因此 bz = 
-4 3. 根据 (6.79)， NAE hy” (ts) + O(h4). 

aon 我 们 也 可 以 设 a = 3, 这 样 就 得 到 另外 一 种 两 步 二 阶 方法 , 这 时 a, = 


$ ‘on 7 
bb = Fy bz =F: 


1 1 7 
Witl = Fut + zv rali h- fm | (6.80) 


这 种 方法 有 局 部 截断 误差 8h3y”(t;) + O(h4). 
第 三 种 选择 ,al = -1, 给 出 下 面 这 种 两 步 二 阶 方法 : 
Witl = —Wj + 2uj-1+h B + z=] : (6.81) 


它 被 用 在 图 6-23b 中 . (6.81) 的 失败 引出 一 种 重要 的 多 步 解法 必须 满足 的 稳定 
性 条 件 . 考虑 甚至 更 简单 的 初 值 问题 


y=0, 
y(0) =0, (6.82) 
t € (0,1). 


把 方程 (6.81) 用 到 这 个 例子 中 , 得 到 
Wit1 = —w; + 2wi_1 + h[O]. (6.83) 
(6.83) 的 一 个 解 是 wi = 0. 但 是 还 有 别 的 解 . 把 形式 为 wi = ci 的 解 代 入 (6.83) 得 


cA + eX! — 2c = 0, 
oN? 十 入 一 2) =0. (6.84) 


这 个 递 推 关系 的 “特征 多 项 式 "X? + 和 -2 = 0 的 根 是 1 和 -2. 后 者 是 个 问题 : 它 
意味 着 对 某 个 常数 c, 形式 为 (-2)ic 的 解 是 这 种 方法 的 解 . 这 就 使 小 的 舍 入 和 截断 
误差 迅速 增 大 到 显著 的 大 小 并 且 淹 没 整 个 计算 , 如 图 6-23 所 示 . 为 了 避免 这 种 可 
能 性 , 重要 的 是 方法 的 特征 多 项 式 的 根 按 绝对 值 不 大 于 1. 这 就 导出 以 下 定义 . 

定义 6.6 ”假如 多 项 式 P(x) = 2 一 al7s 1 一 … 一 as 的 根 按 绝对 值 不 大 于 1, 
并 且 任 何 绝对 值 为 1 的 根 都 是 单 根 , 那么 多 步 方法 (6.73) 就 是 稳定 的 . 1 是 绝对 值 
为 1 的 唯一 根 的 稳定 方法 称 为 强 稳定 , 否则 就 是 弱 稳定 . 
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Adams-Bashforth 方法 (6.72) 有 根 0 和 1, 它 是 强 稳定 的 , 而 方法 (6.81) 有 根 
一 2 和 1, 它 是 不 稳定 的 . 
利用 (6.78) 中 a1 = 1 - a2 的 事实 , 一 般 的 两 步 公式 的 特征 多 项 式 是 


P(z) = 2? - aT — a = T° - az — 1 +a = (2 — 1)(£ — a + 1), 


它 的 根 是 1 和 a -1. 回 到 (6.78), 通过 设 a = 0, 我 们 可 以 得 到 一 个 弱 稳 定 的 二 阶 
方法 . 于 是 根 是 1 和 --1, 导出 以 下 弱 稳 定 的 两 步 二 阶 方法 : 


Witl = Wi-1 + 2hfi. (6.85) 


例 6.26 ”把 强 稳定 方法 (6.72)、 弱 稳定 方法 (6.85) 和 不 稳定 方法 (6.81) 用 到 


初 值 问 题 
y = —3y, 
y(0) = 1, (6.86) 


t € [0,2]. 
其 解 为 曲线 y = 07t. 我 们 将 用 程序 6.7 来 跟踪 观察 解 , 其 中 ydot .m 已 改 为 


function z=ydot (t,y) 
z=-3*y; 
ab2step 被 3 个 调 令 ab2step，weaklystabe2step 或 unstable2step 之 一 所 代替. 
图 6-24 显示 了 步 长 h = 0.1 时 3 个 解 的 逼近 . 弱 稳 定 方法 和 不 稳定 方法 似乎 
紧 跟 准确 解 一 会 儿 , 然后 很 快 地 离开 了 它 . 尽管 减 小 步 长 , 可 以 延迟 不 稳定 性 的 发 
作 , 但 是 没有 消除 这 个 问题 . < 
y 


(a) (b) 
图 6-24 ” 初 值 问 题 (6.86) 的 两 步 二 阶 方法 的 比较 . 
(a) Adams-Bashforth 方法 ; 
(b) 弱 稳 定 方法 (WM) 和 不 稳定 方法 (正方 形 ) 
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用 下 面 两 个 定义 可 以 叙述 多 步 解法 的 基本 定理 . 

定义 6.7 如果 一 种 多 步 方 法 至 少 是 一 阶 的 , 那么 它 是 相 容 的 ， 若 当 h 一 0 
BY, 对 每 一 个 t, 其 近似 解 收敛 于 准确 解 , 则 这 种 解法 是 收 伊 的 . 

定理 6.8 (Dahlquist) ”如 果 初 始 值 是 准确 的 , 那么 多 步 方法 (6.73) 是 收敛 的 
当 且 仅 当 它 是 稳定 的 和 相 容 的 . 

Dahlquist 定理 的 证 明 可 参见 [12]. 定理 6.8 告诉 我 们 , 避免 像 图 6-24b 中 那样 
的 两 步 二 阶 方法 的 灾难 性 失败 , 就 像 检查 方法 的 稳定 性 一 样 简单 . 

特征 多 项 式 的 一 个 根 必 须 是 1( 见 习题 6). Adams-Barhforth 方法 是 其 余 根 都 
是 零 的 那 种 . 因此 , Adams-Bashforth 两 步 方 法 被 认为 是 最 稳定 的 两 步 方法 . 

使 用 更 多 步 的 高 阶 方法 的 推导 恰好 类 似 于 我 们 前 面 两 步 方法 的 推导 . 习题 13 
和 习题 14 要 求证 明 下 面 的 方法 是 强 稳定 的 . 


Adams-Bashforth 3 步 方法 (三 阶 ) 
wis = Wi + TS l23hi — 16 fimi + 5fe-a)- (6.87) 
Adams-Bashforth 4 步 方 法 (四 阶 ) 


h 
Witl = Wi + Pri — 59fi-1 + 37fi-2 — 9fi_s]- (6.88) 


6.7.3 ” 隐 式 多 步 方法 
当 (6.73) 中 的 系数 bo 不 是 零 时 , 方法 是 隐 式 的 . 最 简单 的 二 阶 隐 式 方法 (见习 
题 5) 是 隐 式 梯形 方法 : 
隐 式 梯形 方法 (二 阶 ) ‘i 
Witl = Wi 十 gz + fil- (6.89) 


如 果 用 Euler 方法 对 wi+l 计算 f E WA ADA fig, 那么 这 就 变 
成 显 式 梯形 方法 . 这 种 隐 式 梯形 方法 也 叫做 Adams-Moulton 一 步 方法 . 这 是 由 于 
隐 式 梯形 方法 和 Adams-Moulton 方法 的 步骤 类 似 , 两 步 隐 式 方法 的 例子 是 Adams- 
Moulton 两 步 方法 . 


Adams-Moulton 2 步 方法 (三 阶 ) 


h 
Witl = Wi + pi +8fi— fi-il. (6.90) 


隐 式 方法 和 显 式 方法 之 间 有 重要 的 差别 . 首先 , 隐 式 情形 不 像 显 式 情形 , 可 以 
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只 用 两 步 就 得 到 一 种 稳定 的 3 阶 隐 式 方法 . 其 次 , 对 于 隐 式 方法 , 相应 的 局 部 截断 
误差 公式 比较 小 . 另 一 方面 隐 式 方法 有 它 固有 的 困难 , 即 必须 计算 隐 式 部 分 的 值 这 
种 额外 的 处 理 . 


由 于 这 些 原因 , 隐 式 方法 常常 在 “预测 -校正 ”对 中 用 于 校正 . 同 阶 的 隐 式 和 显 
式 方法 一 起 使 用 . 每 一 步 都 是 显 式 方法 的 预测 和 隐 式 方法 的 校正 的 结合 , 这 里 隐 式 
方法 用 预测 的 wia 来 计算 fi. 由 于 计算 微分 方程 的 右 端 f 是 既 用 这 一 步 的 预测 
又 用 校正 来 完成 的 , 所 以 预测 -校正 方法 用 了 两 次 近似 计算 的 努力 . 然而 增加 的 精 
确 性 和 稳定 性 常常 使 得 这 种 努力 很 值得 . 

一 种 简单 的 预测 -校正 方法 把 Adams-Bashforth 两 步 显 式 方法 作为 预测 与 把 


Adams-Moulton 单 步 隐 式 方法 作为 校正 结 成 一 对 . Marian 代码 看 似 与 以 前 用 过 的 
Adams-Barhforth 代码 类 似 , 但 是 加 上 一 校正 步 . 


Program 6.8 Adams-Bashforth-Moulton second-order p-c 
Inputs: [inter(1),inter(2)] time interval 
ic=[y0] initial condition 
h=stepsize, s=number of steps for explicit method 
Calls multistep methods such as ab2step.m and amlstep.m 
Example usage: predcorr([0 1],1,.05,2) 
function [t,y]=predcorr(inter,ic,h,s) 
nsround((inter(2)-inter(1))/h); 
% Start-up phase 
y(1,:)sie;t(1)sinter(1); 
for isl:s-1 % start-up phase, using one-step method 
t(i+1)=t (i) +h; 
y(i+1,:)=trapstep(t(i),y(i,:),h); 
£(i,:)sydot (t(i),y(i,:)) 
end 
for i=s:n % multistep method loop 
t(i+1)=t (i) +h; 
£(i,:)=ydot (t (i),y (i 


ip æ de OP op 


f,h); % predict 


y(it1,:)sab2step(t (i), 

£(i+1,:) =ydot (t (i+1),y(i+1,:)); 

y(i+1,:)=amistep(t(i),i,y,£,h); % correct 
end 


function y=trapstep(t,x,h) 

tone step of the Trapezoid Method from section 6.2 
zl=ydot (t,x); 

g=x+h*z1; 

z2=ydot (t+h,g); 

y=x+h* (z1+22)/2; 


function z=ab2step(t,i,y,f,h) 
%one step of the Adams-Bashforth 2-step method 
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z=y (i, :)+h*(3*f (i, :)-f(i-1,:))/2; 

function z=amlstep(t,i,y,f,h) 

%one step of the Adams-Moulton 1-step method 
z=y (i,:)+h*(£(i+1,:)+£(1,2))/2; 


function z=ydot(t,y) % IVP 
z=t*y+t^3; 


Adams-Moulton 两 步 方 法 的 推导 恰 如 显 式 方法 的 建立 . 重新 解 方程 组 (6.77)， 

但 不 需要 bo = 0. 因为 现在 有 一 个 额外 的 参数 (bo), 我 们 可 以 只 用 一 个 两 步 方法 通 

过 3 次 项 把 (6.75) 和 (6.76) 匹配 起 来 , 把 局 部 截断 误差 放 到 ht 项 中 . 与 (6.77) 类 
似 的 是 

al +a =1, 

—az + bo + bi + b2 =1, 

az + 2bo — 2b2 =1, 

一 az + 3bo + 3b2 =1. 


满足 这 些 方程 的 结果 便 是 一 个 3 阶 两 步 隐 式 方法 . 
以 上 方程 能 用 a, 表示 , 形式 如 下 : 


(6.91) 


a2=1-a, a 


1 
bo = 7 + 754 
3 12 (6.92) 
a be zl a 
‘Ay 3 Ae 


ae eee ie) 


局 部 截断 误差 是 
1 dbo — 4bo +a 
i whi aie _ 4bo an 2 ty!” + OCW) 
= 壮志 二 和 十 和 ist 十 OU) 
= pty" 5 
= z" yi” + O(h’). 


只 要 a £0, 这 个 方法 就 是 3 阶 . AW a 是 自由 参数 , 所 以 有 无 穷 多 种 3 阶 两 步 
隐 式 方法 ， Adams-Moulton 两 步 方法 使 用 的 选择 是 ui = 1. 习题 8 要 求证 明 这 种 
方法 是 强 稳定 的 . 习题 9 探究 了 a 的 其 他 选择 . 

注意 一 种 更 特别 的 选取 ,ai = 0. 从 局 部 截断 误差 公式 可 知 , 这 个 两 步 方法 是 4 
阶 的 . 
Milne-Simpson 方法 


h 
wigs = wia + glis + 4h + fi-1]- (6.93) 
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习题 10 要 求 你 验证 它 仅 是 弱 稳 定 的 . 因此 , 它 对 误差 放大 很 敏感 
隐 式 梯形 方法 (6.89) 和 Milne-Simpson 方法 (6.93) 中 提 到 的 术语 , 应 使 读者 想 
起 第 5 章 中 的 数值 积分 公式 . 事实 上 , 尽管 我 们 没有 强调 这 种 逼近 , 但 我 们 提出 的 
许多 多 步 公式 可 以 用 另 一 种 方法 通过 积分 近似 插值 式 而 得 到 , 这 类 似 于 一 种 数值 积 
分 方案 . 
隐 茂 在 这 种 逼近 后 面 的 思想 是 , 微分 方程 Y = f(t,y) 可 以 在 区 间 [tes ti] 上 
积分 得 到 a 
vlt) — w(t) = | seat (6.94) 


用 一 种 数值 积分 方案 去 通过 (6.04) 中 的 积分 , 结果 就 得 到 一 种 多 步 常 微分 方程 方 
法 . 例如 用 第 5 章 中 的 梯形 法 则 进行 数值 积分 就 得 到 
vet) = ult) = Bian + fi) +O), 
这 是 党 微分 方程 的 二 阶 樟 形 方法 .假如 用 Simpson 法 则 进行 近似 积分 , 结果 是 
vti) =v) = (fina + 4fi + fim) +O), 


这 是 4 阶 Milne-Simpson 方法 (6.93). 本 质 上 , 我 们 通过 多 项 式 和 积分 来 逼近 常 微 
分 方程 的 右 端 , 恰 如 在 数值 积分 中 做 的 那样 , 只 要 通过 改变 插值 多 项 式 的 次 数 和 插 
值 点 的 位 置 就 能 推广 这 种 逼近 , 以 覆盖 许多 我 们 已 经 提出 的 多 步 方法 . OR 
近 是 导出 多 步 方法 的 更 几何 的 方法 , 但 是 它 没 能 使 我 们 对 所 得 出 的 常 微分 方程 解法 
的 稳定 性 有 特别 的 了 解 . 

通过 推广 前 面 的 方法 , 在 每 种 情况 中 用 a = 1, 就 能 推导 出 高 阶 Adams-Moulton 
方法 . 
Adams-Moulton 三 步 方法 (四 阶 ) 

Witl = Wi + Efa +19fi — 5fi-1 + fia). (6.95) 


Adams-Moulton 四 步 方法 (五 阶 ) 


h 


+ ggg (BBL fis + 646 fi — 264fi-1 + 106fi2 ~ 19fi-s]. (6-96) 


Witt = Wi 


这 些 方法 以 及 具有 同 阶 的 Adams-Bashforth 预测 的 方法 , 大 量 地 用 在 预测 - 校 
正方 法 中 . 计算 机 问题 5 和 问题 6 用 MATLAB 代 码 实现 这 种 思想 . 


习题 6.7 
1. 对 以 下 初 值 问题 用 Adams-Barhforth 方法 . 
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10. 
11. 
12. 


13. 


14. 


15. 


(a) 多 = 二 (by =ty; (c) y'=2(t+1y; (d) y'=5ty; (e) y = Fi 

(f) y=. 

初始 条 件 是 y(0) = 1, 在 区 间 [0,1] 上 用 步 长 h = #. 用 显 式 梯形 方法 产生 w, 利用 在 习 
题 6.1.3 中 的 准确 解 , RHE t = 1 处 的 整体 截断 误差 . 


， 对 下列 初 值 问题 执行 习题 1 中 的 步骤 . 


(a) y'=t+y; (b) =t-y; (c) y' =4t—2y. 
初始 条 件 是 y(0) = 0. 利用 习题 6.1.4 中 的 准确 解 , 求 出 在 t = 1 处 的 整体 截断 误差 . 
求 一 个 两 步 三 阶 的 显 式 方法 . 这 个 方法 是 否 稳定 ? 


。 求 一 个 特征 多 项 式 有 重 根 1 的 两 步 二 阶 显 式 方法 . 
. 证 明 陷 式 梯形 方法 (6.89) 是 二 阶 方法 . 
， 对 于 s > 2, 如 果 显 式 或 隐 式 的 s 步 方法 至 少 是 一 阶 的 , 则 其 特征 多 项 式 一 定 有 一 根 是 1, 


为 什么 ? 


= (a) 对 什么 样 的 a1, 存在 强 稳定 两 步 二 阶 显 式 方法 ? 


(b) 对 弱 稳 定 方法 , 回答 同样 的 问题 . 


证明 Adams-Moulton 两 步 方法 的 系数 满足 (6.92), 因此 这 种 方法 是 强 稳定 的 . 
对 下 列 两 步 隐 式 方法 求 出 它们 的 阶 和 稳定 的 类 型 : 


(a) witi = 8wi — 2wi-1 + $ [13fi+1 — 20fi — 5fi-a]; 

(b) witi = $wi — $s-1 + Bhfir; 

(c) wigs = fwi — fwi- + [Afir + 4fi — 2fi-1); 

(d) witi = 3ws — 2wi-1 + Tfn — 8fi — 11fi-1]; 

(e) wii = 2w; — win + $ [firi — fi-i]. 
从 (6.92) 中 导出 Milne-Simpson 方法 (6.93), 并 证 明 它 是 四 阶 弱 稳定 的 . 
求 一 个 弱 稳 定 的 两 步 二 阶 隐 式 方法 . 
Milne-Simpson 方法 是 一 种 弱 稳定 的 两 步 四 阶 隐 式 方法 ， 有 没有 弱 稳 定 两 步 三 阶 隐 式 方 
法 ? 

(a) 对 一 个 三 步 三 阶 显 式 方法 , R ai, bs 要 求 的 条 件 (类 似 于 (6.77)).，(b) 证 明 Adams- 
Bashforth 三 步 方法 满足 这 些 条 件 .(c) 证 明 Adams-Barhforth 三 步 方法 是 强 稳定 的 . 
(d) 求 一 个 弱 稳 定 的 三 步 三 阶 显 式 方法 , 并 证 明 这 些 性 质 . 

(a) 对 一 个 四 步 四 阶 显 式 方 法 , R aibi 要 求 的 条 件 (类 似 于 (6.77)). (b) 证 明 Adams- 
Barhforth 四 步 方 法 满足 这 些 条 件 . (c) 证 明 Adams-Barhforth 四 步 方法 是 强 稳定 的 . 
(a) 对 一 个 三 步 四 阶 隐 式 方法 , R ai, bs 要 求 的 条 件 (类 似 于 (6.77)). (b) 证 明 Adams- 
Moulton 三 步 方 法 满足 这 些 条 件 . (c) 证 明 Adams-Moulton 三 步 方 法 是 强 稳定 的 . 


计算 机 问题 6.7 


1. 


2. 


修改 exmultistep.m 程 序 , 对 习题 中 的 初 值 问题 用 Adams-Barforth 两 步 方 法 ， 取 步 长 
h = 0.1, 计算 在 区 间 [0, 1) 上 的 近似 解 . 打印 出 上 值 、 近 似 解 以 及 每 步 的 整体 截断 误差 的 
表格 . 

修改 exmultistep.m 程 序 , 对 习题 2 中 的 初 值 问题 用 Adams-Barhforth MAK. W 
h=0.1, 计算 在 区 间 [0, 1] 上 的 近似 解 . 打印 出 t 值 、 近似 解 和 每 步 的 整体 截断 误差 的 表格 . 
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3. 使 用 不 稳定 的 两 步 方法 (6.81), 执行 计算 机 问题 2 中 的 步骤 . 

4. 使 用 Adams-Barhforth 三 步 方法 , 执行 计算 机 问题 2 中 的 步骤 . 

5。 把 程序 6.8 改变 成 三 阶 预测 -校正 方法 , 用 Adams-Bashforth 三 步 方法 和 Adams-Moulton 
两 步 方法 , WHK h = 0.05. 在 区 间 [0, 5] 画 出 初 值 问题 (6.5) 的 近似 解 和 准确 解 . 

6. 把 程序 6.8 改变 为 三 阶 预测 -校正 方法 , 用 Adams-Bashforth 四 步 方法 和 Adams-Moulton 
三 步 方法 , 取 步 长 h = 0.05. 画 出 在 区 间 [0, 5] 上 的 初 值 问题 (6.5) 的 近似 解 和 准确 解 . 


软件 和 进一步 阅读 


关于 常 微 分 基础 的 传统 出 处 是 [4,5,6,10,16]. 许多 书 采用 大 量 的 计算 与 绘图 来 讲授 微分 方 
程 的 基础 , ODE Architect’! 是 一 个 好 的 例子 . Polking 的 MATLAB 代码 和 指南 9°) 是 学 习 和 
使 常 微分 方程 概念 形象 化 的 极 好 方法 . 

为 了 补充 求解 常 微分 方程 中 单 步 和 多 步 的 数值 方法 , 还 有 许多 中 级 的 和 高 级 的 教科 书 . 教 
PHB [14,11] 是 经 典 的 , 从 [21] 得 到 一 种 当代 的 MATLAB. 其 他 推荐 的 教科 书 是 [15,20,1,17， 
9,7] 以 及 综合 性 的 两 卷 集 [12,13]. 

有 许多 复杂 的 软件 可 用 来 解 常 微分 方程 . MATLAB 使 用 的 解法 的 细节 能 在 [22,2] 中 找到 . 
Runge-Kutta 型 变 步 长 显 式 方法 通常 对 非 刚性 或 轻 度 刚性 问题 是 成 功 的 . 除了 Runge-Kutta- 
Fehlberg 和 Dormand-Prince 之 外 , 一 种 5/6 阶 Runge-Kutta-Verner 方法 也 经 常 使 用 . 对 于 
刚性 问题 , 需要 使 用 后 向 差分 方法 和 外 推 方法 . 

IMSL 程序 库 包 括 有 基于 Runge-Kutta-Verner 方法 的 双 精度 程序 DIVPRK, 以 及 能 解 
决 刚性 问题 的 多 步 Adams 类 方法 的 程序 DIVPAG. NAG 程序 库 提供 了 可 运行 标准 Runge- 
Kutta 步 又 的 驱动 程序 D02BJF. 包含 了 带 有 误差 控制 的 Adams 型 程序 的 多 步 驱动 是 D02CJF. 
对 于 刚性 问题 , 推荐 使 用 程序 D02EJF, 其 中 用 户 可 有 选择 地 指定 使 用 Jacobi 方法 以 加 速 计 
算 . 

Netlib 程序 库 包 括 Runge-Kutta-Fehlberg 方法 的 Fortran 程序 RKF45, 及 Runge-Kutta- 
Verner 方法 的 DVERK. Netlib 软件 包 ODE 包含 几 种 多 步 (方法 ) 程序 . 程序 VODE 可 用 于 
解决 刚性 问题 . 

软件 包 ODEPACR 是 由 Lawrence Livermore 国家 实验 室 (LLNL) 发 展 起 来 的 求解 ODE 
问题 的 Fortran 程序 的 公共 区 域 集 , 其 基本 解法 器 LSODE 及 其 变 体 可 用 于 解决 刚性 和 非 刚 
性 问题 . 这 些 程序 可 在 LLNL 的 网 站 http://www.linl.gov/CASC/odepack 上 免费 获得 . 
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地 下 和 海底 管线 必须 能 够 承受 外 部 环境 的 压力 . 管子 越 深 , 防止 破裂 所 花 的 代 
价 越 大 . 连结 北海 平台 到 海岸 的 石油 管线 埋 在 70m 深 处 天然气 重要 性 日 益 凸显 ， 
而 船 运 既 危 险 又 昂贵 , 这 些 都 可 能 导致 建设 国际 气管 线 . 大 西洋 中 部 深 逾 5km, 那 
里 7 000 psi 的 水 压 将 要 求 管 材 的 革新 和 避免 谊 曲 的 构造 . 

管道 的 帘 曲 理论 对 从 建筑 支撑 到 管状 伸展 的 广泛 应 用 是 重要 的 ， 当 直接 实验 
ARK ABA, 弯曲 的 数值 模拟 是 很 有 价值 的 . 

实例 检验 7.1.2 节 后 的 实例 检验 是 关于 作为 圆 环 的 管道 的 横 截 面 , 检查 什么 
时 候 和 如 何 出 现 弯曲 . 


第 6 章 叙述 了 计算 初 值 问题 (IVP) 解 的 方法 , 初 值 问 题 是 微分 方程 及 其 给 定 
在 求解 区 间 左 端的 初始 条 件 的 一 个 组 合 . 我 们 提出 的 方法 都 是 “前 进 式 ” 技 巧 - 近 
似 解 开始 于 左 端 并 且 关 于 自 变量 t 向 前 进展 . 当 我 们 把 微分 方程 连同 求解 区 间 两 端 
给 定 的 边界 条 件 一 起 给 出 时 , 就 产生 了 一 类 同样 重要 的 问题 . 

第 7 章 令 述 边 值 问题 (BVP) 的 近似 解法 . 方法 有 3 种 类 型 . 首先 , 提出 打靶 
法 , 这 是 一 种 把 第 6 章 里 的 IVP 解法 和 第 1 章 里 方程 的 解法 结合 在 一 起 的 方法 . 
其 次 , 采用 有 限 差分 方法 , 它 把 微分 方程 及 其 边界 条 件 化 为 待 解 的 线性 或 非 线 性 方 
BA. 最 后 一 节 重 点 讨论 配置 法 和 Galerkin 方法 , 它们 通过 把 解 表示 为 元 素 基 函 数 
来 求解 这 个 问题 . 


71 打 靶 法 


第 一 种 方法 通过 确定 与 边界 条 件 相 容 的 缺失 初 值 把 边 值 问 题 转化 为 初 值 问 题 . 
把 第 1 章 和 第 6 章 中 已 经 建立 起 来 的 方法 结合 在 一 起 就 能 做 到 这 一 点 . 
71.1 边 值 问题 的 解 

通常 二 阶 边 值 问题 要 求 在 区 间 a < t < b 上 解 


y” = ftu y’), 
yla) = Ya, (7.1) 
y(b) = yo» 


71 47 ¥% 法 329 


如 图 7-1 所 示 . 如 第 6 章 所 述 , 在 典型 的 光滑 性 条 件 下 , 微分 方程 有 无 穷 多 个 解 , 需 
要 额外 的 条 件 去 确定 一 个 特 解 . 在 (7.1) 中 , 方程 是 二 阶 的 , 需要 两 个 约束 条 件 , 给 
定 为 解 y(t) 在 a 处 和 b 处 的 边界 条 件 . 


a b 
图 7-1 IVP 和 BVP 的 比较 : 在 初 值 问 题 中 , 给 定 初 值 yo 和 初始 梯度 
sa = y' (a) 作为 问题 的 一 部 分 ; 在 边 值 问 题 中 , 给 定 边 值 y。 和 
Vb, 而 sa RAI 
为 了 更 加 直观 , 考虑 一 个 抛射 体 (或 一 发 炮弹 ), 当 它 运动 时 , 满足 二 阶 微分 方 
By) = -9, 这 里 y 是 抛射 体 的 高 度 而 9 是 重力 加 速度 .作为 初 值 问 题 , 确定 了 
初始 位 移 和 初始 速度 就 唯一 确定 了 抛射 体 的 运动 . 另 一 方面 , 可 以 指定 一 个 时 间 区 
间 以 及 位 移 yla) 和 y(b). 后 一 个 问题 , 即 边 值 问题 , 在 这 种 情形 下 也 有 唯一 解 . 
例 7.1 一 发 炮弹 在 120 英尺 高 的 大 楼 顶层 开始 发 射 , 3 秒 钟 后 着 地 , 求 它 的 
弹道 (轨迹 ). 
根据 Newton 第 二 定律 F = ma, 可 导出 微分 方程 , 这 里 重力 是 


F = 一 mg) g=32 英尺 / 秒 ? 
设 y(t) 是 炮弹 在 t 时 的 高 度 , 弹道 (轨迹 ) 能 表示 为 以 下 IVP 的 解 : 
y” =-9, 
y(0) = 120, 


y'(0) = vo, 


y"=-g 
y(0) = 120, 


或 者 是 以 下 BVP 的 解 : 


y(3) = 0. 
因为 我 们 并 不 知道 初始 速度 vo, 所 以 必须 解 边 值 问题 . 两 次 积分 得 到 


1 
y(t) = 一 了 + vot + yo = —16t? + vot + yo- 
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利用 边 值 条 件 得 到 
120 = y(0) = yo, 
0 = y(3) = —144 + 3uo + 120, 
这 就 意味 着 vo = 8 英尺 / 秒 . 解 轨迹 就 是 y(t) = 一 16t2 + 8t + 120. 4 
例 7.2 证明 y(t) = tsint 是 以 下 二 阶 微分 方程 的 解 : 
y” =—y + 2cost, (7.2) 
其 边界 条 件 是 
y(0) = 0， 
y(x) = 0. 


函数 y(t) = tsint 如 图 7-2 所 示 , 这 个 函数 是 微分 方程 的 解 , 这 是 因为 
y" (t) = (2cost 一 tsint) = —tsint + 2cost. 


检验 边界 条 件 给 出 y(0) = Osin(0) = 0 及 y(x) = rsinr = 0. < 


y 


t 
™ 


图 7-2 BVP(7.2) 的 解 : y(t) = tsint 带 有 边界 值 y(0) = 0, y(x) = 0 
的 解 的 图 示 

边 值 问题 解 的 存在 性 和 唯一 性 理论 远 比 初 值 问 题 相 应 的 理论 复杂 得 多 .表面 
上 合理 的 边 值 问题 可 能 无 解 或 有 无 穷 多 解 , 这 不 同 于 初 值 问 题 . 

这 种 存在 性 和 唯一 性 的 情形 类 似 于 炮弹 在 地 球 引力 作用 下 运动 的 弧 线 . 假定 炮 
弹 有 固定 的 离开 火炮 的 初速 度 , 但 是 火炮 角度 可 变化 , 任 一 原来 位 置 和 速度 的 数值 
将 决定 由 于 地 球 引力 而 产生 的 弹道 轨迹 . 初 值 问题 的 唯一 解 永远 存在 . 边 值 问题 有 
不 同 的 性 质 . 假如 执行 者 的 网 格 设置 在 火炮 的 范围 之 外 , 解 就 不 存在 . 而 且 , 对 于 
在 火炮 范围 内 的 任何 边界 条 件 , 存在 两 个 解 ,短程 "(火炮 点 火 角 度 小 于 45°) 及 “长 
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程 "( 角 度 大 于 45°), 这 就 违反 了 唯一 性 . 下 面 两 例 对 于 非常 简单 的 微分 方程 说 明了 
这 两 种 可 能 性 . 
例 7.3 ”证 明 边 值 问题 
y=-y, 
y(0) =0, 
y(x) =1 
无 解 . 
微分 方程 有 一 个 二 维族 解 . 它 是 由 两 个 线性 独立 的 解 cost 和 sint 产生 的 . 方 
程 的 所 有 解 一 定 具 有 形式 y(t) = acost +bsint. 代入 第 一 个 初始 条 件 0 = y(0) = a, 
意味 着 a = 0, 即 y(t) = bsint. 第 二 个 边界 条 件 1 = y(n) = bsinr = 0 得 出 矛盾 . A 
此 不 存在 解 , 存在 性 不 成 立 . < 
例 7.4 ”证 明 边 值 问 题 


n 


y" =-y, 
y(0) =0, 
y(x) =0 
有 无 穷 多 解 . 
可 以 检验 , 对 每 一 个 实数 kylt) = ksint 是 微分 方程 的 解 并 且 满足 边界 条 件 . 
特别 地 , 对 这 个 例子 而 言 , 解 的 唯一 性 不 成 立 . < 


例 7.5 求 以 下 边 值 问题 的 全 部 解 : 


y” = 4y, 
y(0) =1, (7.3) 
y(1) =3. 


这 个 例题 简单 得 足以 精确 求解 , 还 很 有 兴趣 , 可 以 作为 边 值 问 题解 法 所 遵循 的 
例子 . 我 们 能 猜 出 微分 方程 的 两 个 解 , y = et 和 y = e. 因为 这 两 个 解 彼此 不 成 
倍数 , 它们 是 线性 独立 的 , 所 以 从 微分 方程 的 基本 理论 知道 , 微分 方程 的 全 部 解 是 
线性 组 合 cie” + ceret. 两 个 常数 cr 和 co 由 以 下 两 个 边界 条 件 确定 : 


1=y(0)=ca+c，. 


3=y(1) = cle2 + cze 2. 


解 出 这 两 个 常数 得 到 解 : 


3-e? 7-3 _ 
yt) = 三 — e” 十 zoe? a (7.4) 


e2 
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7.1.2 ”打靶 法 的 实现 

打靶 法 通过 应 用 一 系列 初 值 问题 来 解 边 值 问题 (7.1). 首先 , 随 着 初 值 ye 给 出 
初始 梯度 sa. 按 这 个 初始 梯度 解 出 这 个 初 值 问题 并 与 边界 值 y。 进行 比较 . 经 过 试 
验 和 尝试 , 改进 初始 梯度 直到 与 边界 值 相 匹配 . 为 了 对 这 种 方法 给 出 一 种 更 规范 的 


结构 , 定义 函数 
与 y(b) 的 差 ， 
F(s) = 4 这 里 y(t) 是 满足 y(a) = ya 及 
y (a) = s 的 初 值 问题 的 解 . 


根据 这 个 定义 , 边 值 问题 就 化 为 解 方程 
F(s) =0, (7.5) 


如 图 7-3 Bia. 

我 们 现在 可 以 用 第 1 章 中 的 方程 解法 来 解 这 个 方程 . 假定 选择 对 分 法 . 必须 找 
到 s 的 两 个 值 , 设 为 s 和 si, 使 得 F(so)F(s1) < 0. 然后 由 so 和 si 括 住 了 (7.5) 
的 一 个 根 . 令 sa = (so + s1)/2, 并 且 把 这 种 对 分 进行 下 去 直到 求 得 在 允许 误差 内 的 
解 s*. 于 是 这 个 解 就 被 当 作 初 值 问题 


v" = flu, 
y(a) = ya, (7.6) 
vla) =s 


的 解 而 求 出 来 (例如 用 第 6 章 中 的 初 值 问题 的 解法 ). 


(a) 
图 7-3 ”打靶 法 . (a) 解 边 值 问题 ， 对 于 初始 估计 so， 解 初始 条 件 为 
yla) = ya,y (a) = so 的 初 值 问题 . F(so) 的 值 是 y(b) 一 v- 
然后 选取 新 的 s1, 并 且 在 求解 F(s) = 0 的 目标 下 重复 此 过 程 ， 
以 求 出 s. (b) 对 根 s*, 用 MATLAB 的 ode45 绘 制 初 值 问题 (7.7) 
的 解 
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例 7.6 ”用 打靶 法 解 边 值 问题 


y" =4y, 
y(0) =1, (7.7) 
y(1) = 3. 
为 了 使 用 MATLAB 的 ode45 IVP 解法 , 把 微分 方程 写 为 一 阶 方程 组 
Y=, 
{ ge (7.8) 


写 出 函数 文件 de .m 作 为 对 ode45 的 输入 : 


function ydot=f (y) 
ydot=[0;0]; 

ydot (1)=y (2); 
ydot (2) =4*y (1); 


写 出 函数 文件 F.m 作为 第 1 章 中 bisect .nm 的 输入 : 


function z=F(s) 

a=0; b=1; yb=3; 

([t,y]=ode45('f', {a,b}, [0,s]) 

z=y(end,1)-yb; % end means last entry of solution y 


算出 F(—1) ~ —1.05, F(0) ~ 0.76, 这 能 在 图 7-3a 中 观察 到 . 因此 在 -1 和 0 
之 间 有 F 的 一 个 根 , 运行 第 1 章 中 的 bisect.m, 从 区 间 [1,0] 出 发 , 在 所 要 求 的 精 
度 内 求 出 s, 然后 这 个 解 能 被 当 作 一 个 初 值 问题 的 解 ( 见 图 7-3b) 绘制 出 来 ，(7. 2 
的 精确 解 由 (7.4) 给 出 , 因此 s* = wy(0) = 一 0.420 3. 

对 于 常 微分 方程 组 , 边 值 问题 有 多 种 形式 . 下 面 探 _ 种 可 能 的 形式 并 引导 站 
者 参考 习题 和 实例 检验 7 作为 进一步 的 例子 . 

Sl 7.7 FAST RUA a: 

4 — 2yo 


n= 
=e, 
n(1)=0, (7.9) 
yo(2) =0, 
te [1,2]. 
假如 给 出 初始 条 件 yz(1), 这 将 是 一 个 初 值 问题 . RAT A E AR 
yo(1), 调用 MArLAB 程 序 ode45 解 初 值 问题 . 定义 函数 F(s) 为 端点 条 件 yo(2), 这 里 
初 值 问题 在 初始 条 件 yi(1) = 0 及 yz(1) = s FER. 目标 就 是 求解 F(s) = 0. 
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注意 到 F(0) = -3.97 及 F(2) ~ 0.87, 因此 F(s) = 0 的 解 被 括 在 0 和 2 之 间 . 

对 F(s) 应 用 割 线 法 , 从 初始 估计 so = 0, si = 2 HR, 大 概 6 步 , 收敛 到 精确 到 若 

干 位 小 数 的 s* = 1.5. 使 用 带 有 初 值 y(1) = 0 及 yo(1) = 1.5 的 ode45 进 行 求 解 , 结 

果 描绘 在 图 7-4 中 . 精确 解 是 y(t) = Int, yo(t) = 2- $. a 
y 


2| 


s 
1 


图 7-4 FT RRR ADA 7.7 的 解 . 显示 曲线 y(t) 和 yo(t). 实心 图 点 


表示 已 给 出 的 边界 条 件 
习题 7.1 
1. 对 于 线性 边 值 问题 
y" =y +24, y" = (24+ 4t?)y, 
(a) | y(0) =0, (b) | y(0) =1, 
y(1) =e; y(1) =e; 
y" = —y + 2cost, y" =2-— 4y, 
(c) | y(0) =0, (a) | y(0) = 0， 
(3) = 5 2 (3) =1. 


证 明 它们 的 解 分 别 是 (a) y = te’; (b) y = e"; (c) y = tsint; (d) y = sin? t. 
2. 对 于 边 值 问题 
v" = By’, y” = 2yy', y" =e, y" = 6y?, 
(a) | y(1) =4, (b) | y(0) =0, (e) | y(1) =0, of y(1) =1, 
y(2) = 1; 2 (3) =1; ule) =1; y(2) = 8. 
证 明 它 们 的 解 分 别 是 (a)y = 4t-?; (b) y = tant; (c) y = Int; (d) y = t°. 
3. 考虑 边 值 问题 
y" = —4y, 
y(a) = ya, 


y(b) = yo- 
(a) 求 该 微分 方程 的 两 个 线性 独立 的 解 . (b) BE a = 0,b = x, 为 使 解 存在 , ya, yo 必须 满 
足 什 么 条 件 ? (c) 对 = 于 回答 (b) 中 的 问题 . (d) 对 "= §, 回答 (b) 中 的 问题 . 
4. 从 200 英尺 高 的 大 楼 扔 出 的 抛射 体 , 5 秒 钟 后 着 地 , 把 它 的 高 度 表示 成 二 阶 边 值 问题 的 
解 . 然后 解 这 个 边 值 问题 并 且 求 这 个 抛射 体 的 最 大 高 度 . 
5. 求 边 值 问题 y” = ky, y(0) = yo, y(1) = yı (k > 0) 的 解 . 
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计算 机 问题 7.1 


1. 


对 下 面 线性 边 值 问题 用 打靶 法 ， 通 过 寻找 能 括 住 解 的 区 间 [so, sl] 开始 , 用 对 分 法 求解 . 
在 指定 的 区 间 绘 制 近似 解 的 图 . 


y” =yt fe, y” = (2+4t*)y, 
(a) 4 y(0) = 0， (b) 人 y(0)=1, 


y(1) = 36; y(1) =e. 


.对 下 列 边 值 问题 执行 计算 机 问题 1 的 步骤 : 


9y" + my =0, y" = 3y — 2y', 
(a) 4 y(0)=-1, (b) 1 y(0) = 6, 


y (3) =3; y(1) = 1. 


.用 打靶 法 解 非 线性 边 值 问题 , 求 包含 解 的 区 间 [so, 51], 用 割 线 法 求解 并 绘制 解 的 图 . 


y= 184°, y" = 2e-%(1 — #2), 
(a) 4 yl)=#, (b) | y(0) =0, 


Y(2) = 十 ; y(1) = In2. 


.对 以 下 非 线性 边 值 问题 执行 计算 机 问题 3 的 步骤. 


ye yn 
(a) 4 vy)=1, (b) 4 y(0)=1, 
y(1) = 3; y(1) = -1. 


.仿效 例 7.7 的 方法 , 对 下 面 非 线性 方程 组 边 值 问 题 应 用 打靶 法 . 


nad yi = yi — Mya, 

b= 4 = —6(ty2 + In 
(a) (并 t+tany, (b) va : Stn n), 

(0) = 0， (0) =1, 

ya(1) = 2; nl) =—3- 


实例 检验 7。 圆 环 的 挠 度 弯曲 


边 值 问题 是 结构 计算 的 自然 模型 .7 个 微分 方程 的 方程 组 作为 在 来 自任 何方 向 的 液压 p 


下 , 压缩 系数 为 c 的 圆 环 的 模型 . 为 了 简单 , 我 们 将 对 模型 无 量 纲 化 , 并 假定 环 的 半径 为 1, 并 
且 在 无 外 界 压力 的 情形 下 具有 水 平 与 垂直 的 对 称 性 . 这 个 模型 尽管 简单 , 但 它 对 弯曲 现象 (或 
者 圆 环形 状 压 偏 ) 的 研究 是 很 有 用 的 . 这 个 例子 和 许多 其 他 结构 边 值 问题 能 在 [4] 中 找到 . 


这 个 模型 仅 考虑 环 的 左上 四 分 之 一 部 分 , 其 余部 分 可 根据 对 称 性 假设 来 填补 . 自 变量 s 表 


示 环 的 弧 长 , 它 沿 着 过 圆 环 中 心 的 直线 从 s = 0 到 s = 3. EHMK s 所 确定 的 点 处 的 因 变 量 
如 下 : 


y (s) = 过 圆 环 中 心 的 直线 与 水 平方 向 的 夹 角 
ya(s) = z 坐标 

ys(s) = y 坐标 

ya(s) = 沿 变形 中 心 线 的 弧 长 

ys(s) = 内 轴 向 力 

ye(s) = 内 法 向 力 

sr(s) = BE 
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图 7-5a 展示 了 环 以 及 前 4 个 变量 . 边 值 问题 (例如 , 见 四) 是 


yi = -1 — cys + (c + 1)yr, (0) = n (下 = 
ya = (1 + e(ys — y7)) cosy, n (5) =0; 
ys = (1 + c(ys — y7)) sin yı, ys(0) = 0; 

ya =1+e(ys — yr), ya(0) = 0; 

ys = —ye(—1 — cys + (c + 1)y), 

Y6 = yrys — (1 + c(ys — y7))(ys +p), ve(0) =0, ye ( 引 =0; 


ur = (1 + c(ys — yr))ye. 


在 没有 压力 (p = 0) 时 , 注意 到 yi = 各 一 s (v2, y3) = (一 cos s,sin s), y4 = s,ys = 
EM. 这 个 解 是 一 个 完整 的 四 分 之 一 圆 , 它 对 应 具有 对 称 性 的 完好 的 圆 环 . 


Ye =y7 =0 


图 7-5 弯曲 圆 环 示意 图 : (a) 变量 s 表示 沿 着 环 的 左上 方 四 分 之 一 部 
分 虚线 中 心 线 的 弧 长 ; (b) 参数 c= 0.01,p = 3.8 时 边 值 问题 的 
3 个 不 同 的 解 , 两 个 弯曲 的 解 是 稳定 的 


事实 上 , 对 任 选 的 参数 c 和 p, 边 值 问题 以 下 形式 的 圆 环 解 是 存在 的 : 


(7.10) 


当 压 力 从 零 增 大 , 圆 的 半径 就 减 小 . 当 压 力 参数 p 进一步 增 大 , 就 有 了 环 的 分 叉 或 者 可 能 
状态 的 改变 . 环 可 能 在 数学 上 保持 圆 环 的 形状 , 但 不 稳定 , 这 就 意味 着 小 扰动 使 环 移 动 到 另 一 
种 可 能 形状 ( 边 值 问题 的 解 ), 而 这 种 形状 是 稳定 的 . 
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当 施加 的 压力 p 低 于 分 叉 点 或 临界 压力 p。 时, 仅 存在 解 (7.10). 当 p > pe 时 , 边 值 问题 
存在 3 个 不 同 的 解 , 它们 展现 在 图 7-5b 中 . 超出 临界 压力 时 , 圆 环 作为 不 稳定 状态 的 角色 类 
似 于 倒 的 摆 锤 ( 见 计 算 机 问题 6.3.6) 或 在 实例 检验 6 中 的 无 扭转 的 桥梁 . 

临界 压强 依赖 于 环 的 压缩 系数 . 参数 c 越 小 , 环 的 可 压缩 性 越 小 , 使 其 变形 的 临界 压力 越 
低 , 而 不 是 原来 形状 的 压缩 . 你 的 任务 是 用 打靶 法 及 Broyden 方法 求 出 临界 压力 pe 以 及 由 环 
得 到 的 弯曲 形状 的 结果 . 
建议 习题 

1. 证 明 (7.10) 是 边 值 问题 对 每 一 个 压缩 系数 c 以 及 压力 p 的 解 . 
2. 置 压 缩 系数 为 适中 的 值 c= 0.01. 对 压力 p = 0 Rp = 3 ATMA, He 

法 中 的 函数 F 应 该 用 到 3 个 缺失 的 初 值 (y2(0),ys(0),yr(0)) 作为 输入 , 使 用 3 个 终 值 

(yi( 妇 ), y2($), yo(3)) 作为 输出 . 第 2 章 中 的 多 变量 Broyden II 解法 可 以 用 来 求 F 的 根 . 

与 准确 解 (7.10) 比较 . 注意 , 对 于 p 的 这 两 个 值 , Broyden 方法 对 不 同 的 初始 条 件 都 给 

出 相同 的 解 轨 迹 . 当 p 从 0 增加 到 3 时 , 半径 减 小 多 少 ? 

3. 绘 出 第 2 步 中 的 解 . 曲线 (ya(s),ys(s)) 表示 环 的 左上 方 四 分 之 一 部 分 . 利用 水 平和 垂直 

方向 的 对 称 性 绘 出 整个 环 . 

4. 把 压力 变 为 p = 3.5, 求解 边 值 问题 . 注意 得 到 的 解 依赖 于 Broyden 方法 使 用 的 初始 条 件 . 

绘 出 每 一 个 求 得 的 解 . 

5. 对 压缩 系数 c= 0.01, 求 临界 压力 pe, 精确 到 两 位 小 数 . 对 于 p > po, 存在 3 个 不 同 的 解 ; 

对 于 p < pe, 只 有 一 个 解 (7.10). 

6. 对 于 减 小 的 压缩 系数 c = 0.001, 执行 第 5 步 的 任务 . 现在 环 是 更 易 损坏 . 在 压缩 系数 减 

小 的 情况 下 , pe 的 改变 是 否 与 你 的 直觉 一 致 ? 

7. 对 于 增加 的 压缩 系数 c= 0.05, 执行 第 5 步 的 任务 . 


7.2 ”有 限 差 分 方法 


有 限 差 分 方法 的 基本 思想 是 用 离散 的 近似 公式 来 代替 微分 方程 中 的 导数 , 并 求 
解 在 网 格 上 建立 的 方程 组 . 这 种 离散 微分 方程 的 方法 也 将 用 于 第 8 章 中 的 偏 微分 
方程 . 
7.2.1 ”线性 边 值 问题 


设 y(t) 是 一 个 至 少 4 阶 连续 可 微 的 函数 . 在 第 5 章 , 我 们 建立 了 一 阶 导数 的 
离散 近似 公式 


na 2 
y'(t) = stth- 一 ry") (7.11) 


以 及 二 阶 导 数 的 离散 近似 公式 


ya -=+ - 2 的 tue—h) , is Ho. (7.12) 
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它们 都 精确 到 误差 为 O(h?) Br. 
有 限 差分 方法 包括 用 离散 形式 来 代替 微分 方程 中 的 导数 , 并 求解 结果 为 较 简单 
的 代数 方程 . 见 图 7-6. 把 边界 条 件 代 到 需要 它们 的 方程 组 中 . 


图 7-6” 边 值 问题 的 有 限 差分 方法 : 通过 解 线性 方程 组 , 计算 在 离散 点 ty 
处 准确 值 y; 的 近似 值 wi,i = 1,… ,n 
代入 后 可 能 有 两 种 情形 . 如 果 原 边 值 问题 是 线性 的 , 那么 得 到 的 方程 组 是 线性 
的 , 可 以 用 Gaussian 消去 法 求解 . 如 果 原 问题 是 非 线性 的 , 那么 代数 方程 组 是 非 线 
性 方程 组 , 需要 更 复杂 的 方法 求解 . 我 们 从 线性 的 例子 开始 . 
例 7.8 ”用 有 限 差 分 方法 解 边 值 问题 (7.7): 


y" = 4y, 
y(0)=1, 
y(1) =3. 
对 二 阶 导数 用 中 心 差分 形式 , 考虑 微分 方程 = 4y 的 离散 形式 . 在 去 处 的 有 
限 差分 形式 是 


0i+1 一 2w; 十 Wir 
i+ a i=l _ 4, = 0, 


或 者 等 价 地 

wi-1 + (—4h? — 2)wi 十 ai+l = 0. 
Mn=3, 区间 长 h= 1 = 4, 这 时 有 3 个 方程 . 代入 边界 条 件 wo = 1 A w = 3, 
需要 求解 以 下 方程 组 中 的 w, we, ws: 


1+ (—4h? — 2)wi + w2 = 0, 
wi + (—4h? — 2)wz + wa = 0, 
wz + (—4h? — 2)ws +3 = 0. 
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RA h= 4 EP Ea AREA: 


w 一 1 
9 
-$ 1 
1 -f 1 we |=| 0 
0 1 -9 
s w3 一 3 


用 Gaussian 消去 法 求解 在 3 个 点 上 的 近似 解 的 值 是 1.024 9, 1.306 1, 1.913 8, 表 7-1 
展示 了 ti 处 解 的 近似 值 wi 与 准确 解 的 值 y; 的 比较 (注意 边界 值 wo 和 w, 事先 
已 经 知道 而 不 再 计算 ). 误差 是 O(10-?) 阶 . 为 了 得 到 更 小 的 误差 , 需要 用 较 大 的 n. 
一 般 地, h = t = 1, 并 且 三 对 角 和 矩阵 方程 是 


—4h? 一 2 1 0 … 0 0 0 i 
1 一 4h2 一 2 `. 0 0 0 ot 0 
0 To Ee Ag 0 0 he 0 
r . w3 N 
和 : 0 
0 0 0. ey se 1 0 Pan ic 
0 0 0 “4h? —2 1 Wn 3 
0 0 0 … 0 1 —4h? 一 2 
当 加 入 更 多 的 子 区 间 时 , 我 们 预期 近似 值 w; 更 接近 相应 的 yi. < 
R 7-1 

i ti Wi Yi 

0 0.00 1.0000 1.000 0 

工 0.25 1.024 9 1.018 1 

2 0.50 1.306 1 1.296 1 

3 0.75 1.913 8 1.904 9 

4 1.00 3.000 0 3.000 0 


有 限 差分 方法 误差 的 可 能 来 源 是 中 心 差分 公式 产生 的 截断 误差 以 及 在 解 方程 
组 中 产生 的 误差 . 对 于 大 于 机 器 e 平方 根 的 步 长 h, 前 一 个 误差 占 主导 地 位 , 这 个 
误差 是 O(h?), 因此 , 我 们 预期 当 子 区 间 的 数目 n + 1 变 大 时 , 误差 随 着 On?) Br 
减 小 . 


亮点 收敛 
7-7 说 明 有 限 差分 方法 的 二 阶 收敛 性 .这 是 由 于 使 用 了 二 阶 公式 
(7.11) 和 (7.12). 阶 的 知识 促使 应 用 外 推 . 对 于 固定 的 上 和 步 长 h, 用 有 限 
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差分 方法 得 到 的 近似 解 wa(t) 关于 h 是 二 阶 的 , 可 以 用 简单 的 公式 进行 
外 推 . 计算 机 问题 7 和 问题 8 采用 这 种 可 能 来 加 速 收敛 . 


10° 


x 10 
= 
家 10-， 
Cy 
4d 

T 
ao 

1010 1 10° 
子 区 间 数 


图 7-7 有 限 差分 方法 的 收敛 性 . A 7.8 中 在 ti = 3 处 的 误差 作为 子 区 
间 的 数目 n 的 函数 用 图 表示 . 斜率 是 —2, 证 实 误差 是 O(n-?) = 
O(h?) 
我 们 就 问题 (7.7) 测试 上 述 收敛 性 . 对 不 同 的 子 区 间 数 n+1, 图 7-7 表明 了 在 
t= 站 处 解 的 误差 的 大 小 . 在 双 对 数 坐 标 图 上 , 作为 子 区 间 数 函数 的 误差 实质 上 是 
一 条 斜率 为 -2 的 直线 , 这 意味 着 In 已 = a + binn, 其 中 b = -2; 换言之 , 正如 我 们 
所 料 的 , 误差 E x Kn. 
7.2.2 ” 非 线性 边 值 问题 
一 个 非 线性 微分 方程 应 用 有 限 差 分 方法 时 , 结果 是 要 求解 一 个 非 线性 代数 方程 
组 . 在 第 2 章 , 我 们 用 多 变量 Newton 法 来 解 这 样 的 方程 组 . 我 们 用 Newton 法 来 
说 明 如 何 求 以 下 非 线性 边 值 问题 的 近似 解 . 
例 7.9 ”用 有 限 差 分 方法 解 非 线性 边 值 问题 


y’=y-y, 
y(0) =1, (7.18) 
y(1) = 4. 


微分 方程 在 ti(2 < i < n 一 1) 处 的 离散 形式 是 


Wi+ı — 2wi + Wi—1 


R? -wi +w =0 


或 者 


wi-1 — (2+ h?)w; + h?w? + wir = 0, 
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第 一 个 方程 和 最 后 一 个 方程 是 

Ya — (2+ h2)wi + h?w? + we = 0, 

Wn-1 — (2 +h? )wn + h?w2 + ye = 0, 
这 两 个 方程 携带 了 边界 条 件 信息 . 

解 边 值 问题 的 离散 形式 意味 着 解 FF(w) = 0. 我 们 用 Newton 法 来 求解 F(w) = 

0. 多 变量 Newton 法 就 是 迭代 wH = wt 一 DF(w*)-1F(w*). 通常 , 最 好 是 通过 
求解 方程 DF(w*)Aw = —F(w*) 中 的 Aw = wt! — w* 来 进行 迭代 . 函数 F(w) 
由 下 式 给 出 ; 


w Ya — (2 + h?)uy + h?w? + we 
w2 w — (2 + h?)we + h2w? + ws 
P| : z $ ， 
Un_1 Wn-2 — (2 + h?)wn-1 + h?w_i + wn 
Wn Wn-1 — (2 + h?)wn + h?w?2 + yp 
这 里 ya = 1,% = 4. F H Jacobi BE DF (w) 是 
2h?w, — (2 + h?) 1 0 eats 0 
1 2h? we — (2 +h?) `. : 
0 1 a 1 0 
: ; + 2h?wy—1 — (2+ h?) 1 
0 re 0 1 2h? wy — (2 + h?) 
Jacobi 矩阵 的 第 i 行 是 通过 对 第 i 个 方程 (F 的 第 i 分量 ) 关于 每 个 w; 求 偏 导数 


而 确定 的 . 
7-8a 显示 了 用 多 变量 Newton 法 解 F(w) = 0 (对 n = 40) 的 结果 . MATLAB 
代码 在 程序 7.1 中 给 出 . Newton 法 进行 20 步 就 足以 达到 机 器 精度 的 收敛 性 . 


% Program 7.1 Nonlinear Finite Difference Method for BVP 

% Uses Multivariate Newton's Method to solve nonlinear equation 
% Inputs: interval inter, boundary values bv, number of steps n 
% Output: solution w 

% Example usage: W=nlbvpfd((0 1], [1 4], 40) 

function w=nlbvpfd(inter,bv,n); 


global h n ya yb % needed in f and jac functions 
asinter(1); b=inter(2); ya=bv(1); yb=bv(2) 

h=(b-a)/(n+1); % h is step size 

w=zeros(n,1); % initialize solution array w 


for i=1:20 % loop of Newton step 
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w=w-jac (w) \f (w); 
end 
plot ([a (1:n)*h b], [ya w' yb]); % plot w with boundary data 


function y=f (w) 

global h n ya yb 

y=zeros(n,1); 

y (1) sya- (2+h*2) *w(1) +h*2*w(1)*2+w(2); 

y (n) =w(n-1) - (2+h*2) *w(n) +h*2*w(n) *2+yb; 
for 


y (i) sw(i-1)-(2+h*2) *w(i) +h*2*w(i)*2+w(it+l); 
end 


function a=jac (w) 
global h n ya yb 
a=zeros (n,n); 
for i 
a(i, i)=2*h^2*w(i)-2-h^2; 
end 
for i=1:n-1 
a(i,i+1 ; 
a(i+l1,i)=1; 
end < 


(a) (b) 
图 7-8 ”用 有 限 差分 法 求解 非 线性 边 值 问题 : (a) 当 = 40 时 , 例 7.9 
的 Newton 法 收敛 后 的 解 ; (b) 对 例 7.10 同上 


例 7.10 用 有 限 差分 法 解 非 线性 边 值 问题 : 
y” =y' + cosy, 


y(0) = 0, (7.14) 
u(x) = 1. 


7.2 ”有限 差分 方法 
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微分 方程 在 #(2 < i < n 一 1) 处 的 离散 形式 是 


Witl — 2Wi + Wil Wig — Wi-1 
h? 2h 


— cos(w;) = 0, 
或 者 
(a + 3) wi-1 — 2wi + Q 一 3) Wi+1 — h? cos w; = 0, 
第 一 个 方程 和 最 后 一 个 方程 分 别 是 
(1+) Ya — 2w1 + (1-3) wz — h? cosw = 0, 
(1+3) Wn-1 — 2wn + (- 3) Yo — h? cos wn =0, 
这 里 ya = 0, yp = 1. 上 述 n 个 方程 的 左 端 形成 一 个 向 量 值 函数 
(L+ $) ya — 2ui + (1—$)w — h?cosw 


F(w) =| (1+$)wi-1— 2wi+ (1-— $) wigs — h? cosw; 


(1+ 8) wa-1 — 2wn + (1 — #) w — h? cos wn 


F ff} Jacobi 矩阵 DF(w) 是 


-2+h?sinw; 1-4 0 dvs 0 
1 十 各 —2 + h? sin wz 
0 1+$ 1 1 一 分 0 
一 2 十 h2sintn_1 1-4 
0 e 0 1+% —2 + h? sin wp 


只 要 对 边界 条 件 信息 加 以 适当 的 改变 , 以 下 代码 就 能 引入 程序 7.1 来 处 理 非 线 


性 边 值 问题 . 


function y=f (w) 

global h n ya yb 
y=zeros(n,1); 
y(1)=-2*w(1)+(1+h/2) *ya+(1-h/2) *w(2)-h*h*cos (w(1)); 
y(n) =(1+h/2) *w(n-1) -2*w(n) -h*h*cos (w(n) )+(1-h/2) *yb; 
for j=2:n-1 
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y(j)=-2*w(j)+(1+h/2)*w(j-1)+(1-h/2)*w(j+1)-h*h*cos(w(j)); 
end 


function a=jac(w) 
global h n ya yb 
a=zeros (n,n); 
for j=1:n 
a(j,j)=-2+h*h*sin(w(j)); 
end 
for j=l:n-1 
a(j,j+1)=1-h/2; 
a(j+1,j)=1+h/2; 
end 


图 7-8b 展示 了 所 得 到 的 解 曲线 y(t). 4 


计算 机 问题 7.2 
1. 用 有 限 差分 法 , 求 下 列 线性 边 值 问题 的 近似 解 , 取 n = 9,19, 39. 


y" =yt $e, y” = (2+40)y, 
(a) | y(0) = 0, (b) | y(0) =1, 
y(1) = $e; y(1) =e. 
绘 出 近似 解 以 及 准确 解 (a) y(t) = tet/3 和 (b) y(t) = er 的 图 形 , 并 在 分 离 的 半 对 数 坐 
标 图 中 把 误差 展示 为 t 的 函数 . 
2. 用 有 限 差分 法 , 求 下 列 线性 边 值 问题 的 近似 解 , 取 n = 9, 19, 39. 
9y" + my =0, y = 3y-2y’, 
(a) | y(0) = -1, (b) | y(0) =e, 
y (3) =3; y() =1. 
绘 出 近似 解 和 准确 解 (a) y(t) = 3sin $ — cos 4, (b) y(t) = e°- 的 图 形 , 并 在 分 离 的 半 
对 数 坐 标 图 中 把 误差 展示 为 t 的 函数 . 
3. 用 有 限 差分 法 , 求 下 列 非 线 性 边 值 问题 的 近似 解 , 取 n = 9,19,39: 
y” = 18y", y” = 2e-7¥(1 — t°), 
(a) | yl)=#, (b) | y(0) =0, 
y(2) = 十 ; y(1) = In2. 
绘 出 近似 解 和 准确 解 (a) y(t) = shes (b) y(t) = I(t? + 1) 的 图 形 , 并 在 分 离 的 半 对 数 坐 
标 图 中 把 误差 展示 为 t 的 函数 . 
4. 用 有 限 差分 法 , 画 出 以 非 线性 边 值 问题 的 解 , 取 n = 9,19, 39: 
y'=”, y" =siny’, 
(a) | y(0)=1, (b) | y(0) =1, 
y(1) = 35 y(Q) = 一 1 
5. (a) 用 解析 方法 , 求 边 值 问题 y” = y,y(0) = 0,y(1) = 1 的 解 .(b) 写 出 方程 的 有 限 差分 
形式 , 并 且 取 n = 15, 画 出 近似 解 . (c) 通过 构造 在 t = 去 处 的 误差 与 n(n =2?-1,p= 
2,… ,7) 的 双 对 数 坐标 图 来 比较 近似 解 与 准确 解 . 
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用 有 限 差分 法 , 解 非 线性 边 值 问题 4y” = ty, y(1) = 2,y(2) = 1. W n = 15, 画 出 近似 解 . 
构造 在 t= 3 处 的 误差 与 n= 27(p = 2,… ,7) 的 双 对 数 坐标 图 来 比较 近似 解 与 准确 解 . 
7. 对 计算 机 问题 5 中 的 近似 解 进行 外 推 .把 Richardson 外 推 技巧 ( 见 5.1 节 ) 用 到 公式 
N(h) = wn (4), 带 有 步 长 h 的 有 限 差分 近似 . 通过 仅仅 使 用 由 h= 4,1, 过 得 到 近似 
值 外 推 能 与 准确 解 y() 如 何 接近 ? 
8. 对 计算 机 问题 6 中 的 近似 解 进行 外 推 , 用 公式 N(h) = wn (3), 带 有 步 长 h 的 有 限 差分 
近似 . 通过 仅仅 使 用 由 h = 1,2, 十 得 到 的 近似 解 外 推 能 与 准确 解 y (3) 如 何 接近 ? 
. 用 有 限 差分 方法 , 解 非 线 性 边 值 问题 y” = siny, y(0) = 1,y(x) = 0. X} n = 9,19, 39 Hi 
出 近似 解 . 
10. 用 有 限 差分 法 解 方程 


G 


o 


y(0) =0, 


l y" = 10y(1 - y), 
y(1) =1, 


对 n = 9,19, 39 画 出 近似 解 . 
11. 对 c> 0, 解 
y” =cy(1—y), 
y(0) = 0, 
1 
Yy CE 
y(1)=1, 
要 求 精确 到 3 位 小 数 .( 提 示 : 先 考虑 通过 固定 3 个 边界 条 件 中 的 两 个 而 形成 的 边 值 问题 . 
BE G(c) 是 第 3 个 边界 条 件 的 偏差 , 并 用 对 分 法 解 出 G(c) = 0.) 


1 


7.3 ”配置 法 与 有 限 元 法 


和 有 限 差分 方法 一 样 , 配置 法 和 有 限 元 法 的 思想 是 把 边 值 问题 化 为 一 组 可 解 的 
方程 . 然而 , 不 是 通过 用 有 限 差 分 代替 导数 来 离散 化 微分 方程 , 而 是 解 由 某 种 函数 
形式 给 出 , 它 的 参数 由 方法 进行 调整 . 

选择 一 组 基 函 数 yp1(t),… ,pn(t), 它们 可 以 是 多 项 式 、 三 角 函 数 、 样 条 函数 或 
者 其 他 的 简单 函数 . 然后 考虑 可 能 的 解 


y(t) = cip1 (t) +--+ + cnpn(t). (7.15) 


求 近 似 解 就 转换 成 确定 ci 的 值 . 我 们 将 考虑 求 系数 的 两 种 不 同 的 方法 . 

配置 法 是 将 (7.15) 代入 边 值 问题 并 计算 在 网 格 点 上 的 值 . 这 个 方法 是 直接 把 
问题 转化 成 求解 一 个 方程 组 , 如 果 原 问题 是 线性 的 , 那么 这 个 方程 就 是 线性 的 . 每 
一 个 点 给 出 一 个 方程 , 并 且 从 其 中 解 出 ci, 这 是 一 类 插值 法 . 
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第 二 种 近似 方法 即 有 限 元 法 , 并 不 进行 插值 , 而 是 着 手 把 拟 合作 为 最 小 二 乘 问 
题 来 处 理 . 有 限 元 法 采用 Galerkin 投影 , 在 平方 误差 意义 下 把 (7.15) 和 准确 解 之 间 
的 差 极 小 化 . 下 面 探讨 这 两 种 方法 . 

7.3.1 配置 法 


选取 m 个 点 , 包括 起 点 a 终点 b, Si 
a=tı <t <--: <tn =b. (7.16) 


配置 法 通过 把 候选 解 (7.15) 代入 微分 方程 并 计算 在 点 (7.16) 的 微分 方程 从 而 得 到 
E n BRINK cl ca,… ,cn 的 nn 个 方程 
例 7.11 用 配置 法 解 边 值 问题 : 


y= 4y, 
y(0) =1, 
y(1) = 3. 


一 开始 , 我 们 尽 可 能 简单 , 选择 基 函 数 oj( = < j <n). 解 的 形式 将 是 
ut) = 》 ypt) =} yt. (7.17) 
j=l j=l 


我 们 将 写 出 含 n 个 未 知 数 c1,c2,… ,cn 的 个 方程 . 第 一 个 方程 和 最 后 一 个 方程 
就 是 边界 条 件 


i=1: a=} aopji(0)=y(0)=1， 
jal 
a 
i=n: a+- +e =} ggl) =y) =3. 
j=l 


其 余 的 n- 2 个 方程 是 通过 计算 微分 方程 在 (2 < i < n 1) 处 的 值 而 得 到 . 把 
y(t) = Ea cjti-! 代入 微分 方程 得 到 


n 


IG- DG - 2) — 4% ge- =0. 
ja jal 

对 每 一 个 证 在 二 处 计算 上 式 得 到 

6-D6-a832- 人 -la=0 


j=1 
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以 上 n 个 方程 组 成 一 个 线性 方程 组 Ac = 9, 其 中 系数 矩阵 A 的 元 素 定义 为 


而 9 


在 解 


并 且 
进行 
n= 


随 着 


1 0 0 0, BF, 
Ag = (§-1)G-2) 3-4", 第 2 行 到 第 n -1 行 ， 
| 4, 第 n 行 ， 


= (1,0,0,… ,0,3)?. 通常 用 等 距 网 格 点 
i-1 
nl 


i-l 
tj =a+ 77 (b-a)= 


出 cj 后 , 就 得 到 了 近似 解 y(t) = E ct. 
X n= 2, 方程 组 hc=9g 是 


[aliali] 


它 的 解 是 c = (1,2)7. (7.17) 的 近似 解 是 直线 y(t) = cl + cot = 1+ 2t. X} n=4 


计算 得 到 近似 解 y(t) ~ 1 — 0.188 6t + 1.027 3t? + 1.161 343. 在 图 7-9 中 画 出 了 
2 和 n = 4 的 解 . 图 7-3b 显示 当 n = 4 时 近似 解 已 经 非常 接近 准确 解 (7.4). 
n 的 增 大 而 更 加 精确 . < 


Yy 


3 


ier 


图 7-9 用 配置 法 解 例 7.11 的 线性 边 值 问题 : 给 出 n=2 和 n=4 时 
的 解 


在 例 7.11 中 , 因为 微分 方程 是 线性 的 , 所 求解 的 关于 ci 的 方程 组 也 是 线性 的 . 


类 似 地 , 能 用 配置 法 解 非 线性 边 值 问题 . Newton 法 用 于 求解 所 得 到 的 非 线性 方程 


组 , I 


E 如 在 有 限 差分 方法 中 一 样 . 


尽管 为 了 简单 , 我 们 叙述 了 取 单 项 式 为 基 函 数 的 配置 法 的 使 用 , 但 是 还 有 许多 


更 好 


的 选择 . 一 般 不 推荐 多 项 式 基 函数 . 因为 配置 法 本 质 上 是 对 解 进行 插值, 而 多 


项 式 基 函 数 的 使 用 会 造成 方法 对 Runge 现象 ( 见 第 3 章 ) 的 敏感 . 事实 上 ,n 很 大 
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时 , 若 函数 使 线性 方程 组 的 系数 矩阵 成 为 病态 的 , 则 单项 式 基 函 数 v7 彼此 不 正 交 . 
不 用 等 距 点 而 用 Chebyshev( 契 比 雪夫 ) 多 项 式 的 根 作为 求 值 点 , 能 改进 系数 矩阵 的 
条 件 作用 . 

选择 三 角 函 数 为 基 函 数 导致 Fourier 分 析 或 谱 方法 (spectral method), 它们 大 
量 地 用 于 边 值 问题 和 偏 微分 方程 中 .这 是 一 种 “全 局 ”方法 , 其 中 基 函 数 在 t 的 大 
范围 内 非 零 , 但 是 有 好 的 正 交 性 . 我 们 将 在 第 10 章 中 研究 离散 Fourier 逼近 . 

选择 样 条 作为 基 函 数 导 出 有 限 元 法 (finite element method). 在 这 种 方法 中 , 每 
一 个 基 函 数 仅 在 t 的 小 范围 内 非 零 . 有 限 元 法 大 量 地 用 于 较 高 维 的 边 值 问题 和 偏 
微分 方程 中 , 特别 在 非 规则 边界 使 得 用 标准 基 函 数 进行 参数 化 很 不 方便 时 , 更 是 如 
此 . 


7.3.2 ARTEM Galerkin 方法 


在 配置 法 中 , 假设 函数 的 形式 为 y(t) = D cipit), 而 且 通过 使 解 满足 边界 条 件 
以 及 在 离散 点 上 精确 满足 微分 方程 而 求 得 解 . 另 一 方面 , Galerkin 方法 把 微分 方程 
沿 着 解 的 误差 的 平方 极 小 化 . 这 就 导出 了 关于 ci 的 一 个 不 同 的 方程 组 . 


考虑 边 值 问题 
y= f(t,y, 9), 
yla) = ya, 


y(b) = Ye, 
我 们 的 目标 是 选取 近似 解 y, 使 得 残 差 = y” — f, 即 微分 方程 两 边 的 差 , 尽 可 能 地 
小 . 与 第 4 章 中 的 最 小 二 乘法 类 似 , 这 是 通过 选取 y 使 得 残 差 与 潜在 解 的 向 量 空间 
正 交 而 实现 的 . 
对 区 间 [a,b], 定义 平方 可 积 函 数 的 向 量 空间 : 


L’ [a,b] = { 函数 y() 在 [o, 吕 上 


[narenn } . 


I 函数 空间 有 内 积 
(y1, y2) = | yı (t)y2(t)dt, 


它 具 有 通常 的 性 质 : 
(1) (my) > 0, 当 且 仅 当 = 0 时 等 式 成 立 ; 
(2) (ayı + Byz, z) = aly, z) + B(y2, z), 其 中 a, 8 是 标量 ; 
(3) (yi, y2) = (y2; y1). 
WR (y1,y2) = 0, 那么 函数 yy 和 yo 在 Lja, b) AER. 由 于 La, b) BE 
维 向 量 空间 , 不 可 能 通过 有 限 次 计算 使 残 差 + 二 wy — f 与 L?[a, 相 中 的 所 有 向 量 正 
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交 . 然而 , 可 以 选取 一 组 基 , 它们 用 现 有 的 计算 资源 张 成 L? 的 尽 可 能 大 的 子 空间 . 
设 ”+ 2 个 基 函 数 集合 表示 为 po(t),… ,Pn+i(t), 以 后 我 们 将 确定 这 些 基 函数 . 
Galerkin 方法 包含 两 个 主要 想法 . 第 一 个 想法 就 是 通过 在 L? 内 积 意义 下 使 残 


差 " 与 所 有 的 基 函 数 正 交 , 从 而 使 r 极 小 化. 这 意味 着 使 | Cu fedt = 0 或 者 
『 y” (t)yi(t)dt = ik f(t,y,y')vilt)dt,0 <i n+l. (7.18) 


我 们 称 形式 (7.18) 为 边 值 问题 的 弱 形 式 (weak form). 
Galerkin 方法 的 第 二 个 想法 是 用 分 部 积分 消去 二 阶 导数 . 注意 到 
b b 
| v'emar-scovolt-[ vO 
a a ; (7.19) 
= O -ola (0) = | yan 


并 使 用 (7.18) 和 (7.19) 便 给 出 一 组 方程 


b b 
| f(t,y,Y )pilt)dt = pi(b)y (b) — pi(a)y (a) 一 | y(t); (t)dt. (7.20) 
在 函数 形式 x 
u(t) = > avilt) (7.21) 
i=0 . 


F, 对 每 一 个 i, 能 解 出 ci- 

Galerkin 的 这 两 个 想法 使 得 用 极其 简单 的 函数 作为 有 限 元 素 yi(t) 很 方便 . 我 
们 将 仅仅 介绍 分 段 线性 B 样 条 , 并 指导 读者 去 参阅 有 关 更 高 等 的 著作 . 

从 t 轴 上 的 网 格 点 to <tr <… <tn < tny 开始 . 对 i=1,… ,n, 定义 


t—t- 
一 一. tia<t<t, 
tact 
gilt) = i ti < t< tin, 
tips 一 在 
0， 其 他 ， 
并 定义 
= t—t, 
Hat <tc, a: ta <t S tar, 
golt)=< ti—to pnti(t) =} tri —ta 
0, 其 他 ， 0， 其 他 ， 


图 7-10 中 表示 的 分 段 线性 “帐篷 ”函数 w; 满足 以 下 有 趣 的 性 质 : 


JL isj 
at=] 0, iki. (7.22) 
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对 已 知 点 集 (ti,c:),i=0,1,---,n +1, 定义 分 段 线性 B 样 条 
n+l 
S(t) = $ evil). 
i=0 
根据 (7.22) 立刻 得 到 S(t) = OME civilt) = cj. 因此 , S(t) 是 在 已 知 点 (tici) 播 
值 的 分 段 线性 函数 . 换言之 , y 坐标 就 是 系数 ! 这 使 解 (7.21) 的 插值 简单 化 . ci 不 
仅 是 系数 , 而 且 也 是 解 在 网 格 点 ti 处 的 值 . 


加 -1 加。 如 +1 


图 7-10 ”把 分 段 线性 B 样 条 用 作 有 限 元 素 ; 对 1 < i < n, 每 一 个 wi(t) 
在 区 间 [ti-1,tit1] 上 都 有 支撑 


例 7.12 用 有 限 元 法 解 边 值 问题 
y" = 4y, 
y(0)=1, 


y(1) = 3. 


亮点 TEE 

我 们 在 第 4 章 看 到 , 一 点 到 一 个 平面 的 距离 通过 画 一 条 从 该 点 到 这 个 
平面 的 垂直 线段 而 极 小 化 . 该 平面 代表 逼近 这 个 点 的 候选 者 , 其 间 的 距离 
就 是 逼近 误差 . 这 个 关于 正 交 性 的 简单 事实 遍及 数值 分 析 . 它 是 最 小 二 乘 
逼近 的 核心 , 并 且 也 是 边 值 问题 和 偏 微分 方程 的 Galerkin 方法 以 及 Gauss 
求 积 (第 5 章 )、 压 缩 ( 见 第 10 章 和 第 11 章 ) 和 特征 值 问题 的 解 (第 12 
章 ) 的 基础 . 


设 po,… pny 是 在 [a,b] 上 的 一 组 网 格 点 上 的 分 段 线 性 B 样 条 , 如 图 7-10 
Bias. 它们 将 作为 Galerkin FEMA MH. 
Bo 中 的 第 一 个 和 最 后 一 个 从 配置 法 已 得 到 


n+l 
1=y(0) = J cip: (0) = copo(0) = co, 
i=0 
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n+l 
3 = y(1) = Dcipi(l) = cnripnti(l) = cnt1. 


i=0 


对 i= 1,… ,n, 用 有 限 元 方程 (7.20): 
1 1 
| ftom)edat+ | yout-o 
0 0 
注意 (7.20) 的 边界 项 对 i = 1,… ,n BS. 
现在 把 函数 形式 y(t) = Dayi(t) 代入 上 式 并 利用 微分 方程 f(t,y,y) = 4y 就 
得 到 
1 n+l n+l 
of 4yi(t) Dcipi(t) + D orion) dt 
2 j=0 j=0 


n+l 


1 1 P ; 
-> faf ateoa | ova]. 
假设 网 格 是 步 攻 为 /的 等 步 长 网 格 . 我 们 将 需要 以 下 积分 (i 二.… n): 


gilt) pees (tdt =i 人 4 +) i 


0 
fopa = ef (i) a = zh, (7.24) 
[ Pi (t) piss (t)dt = ii ; (-z) dt = -5 (7.25) 
[ora z af GY dt = 2, (7.26) 


对 BRA, 使 用 关系 式 (7.23~7.26) (i = 1,2,--- ,n), 发 现 方程 是 
fe-la [piet piee 


2 1 8 2 2 1 
[n-iar [Eat] [2-1] 


Be ese -0 eran 
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注意 到 , co = ya 二 1 及 cn+1 = ys = 3, 所 以 方程 组 的 矩阵 形式 是 对 称 三 对 角 的 : 


O 8 0 ija Q cı 一 yaB 
poa WB os c2 0 

0 8 6 0 $ = : ， 
a B Cn-1 0 
Os 0 Ba Cn -mwb 


RE a = $h+ 2, b= 2h- h. 

调用 第 2 章 用 过 的 MATLAB 命 令 spdiags, 可 以 写 出 一 个 非常 简洁 的 稀疏 的 执 
行 过 程 . 

% Program 7.2 Finite element solution of linear BVP. 

% Inputs: interval inter, boundary values bv, number of steps n 

% Output: solution values c 

Example usage: c=bvpfem ([0 1],[1 3],9); 

function c=bvpfem(inter,bv,n) 

a=inter(1); b=inter(2); ya=bv(1); yb=bv(2); 

h=(b-a) /(n+1); 

alpha=(8/3)*h+2/h; beta=(2/3)*h-1/h; 

e=ones (n,1); 

M=spdiags([beta*e alpha*e beta*e),-1:1,n,n); 

d=zeros(n,1); 

d(1)=-ya*beta; 

d(n) =-yb*beta; 

c=M\d; 


Xt n = 3, MATLAB 代 码 给 出 表 7-2 中 的 ci. 


表 7-2 
i ti wi = ci Yi 
0 0.00 1.000 0 1.000 0 
1 0.25 1.010 9 1.018 1 
2 0.50 1.285 5 1.296 1 
3 0.75 1.895 5 1.904 9 
4 1.00 3.000 0 3.000 0 


注意 近似 解 wi 在 ti 处 有 值 ci, 它 可 与 准确 解 y; 比较 . 

其 误差 大 概 是 10-?, 与 有 限 差分 法 的 误差 相同 . 事实 上 , 图 7-11 表明 , 对 大 的 
n 值 运 行 有 限 元 法 给 出 的 收敛 曲线 与 图 7-7 中 的 有 限 差分 法 的 几乎 一 致 , 都 表明 了 
O(n?) 收敛 性 . < 
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3/4 处 的 误差 


t= 
3 


10 TO 10° 
于 区 间 数 目 


图 7-11 “有 限 元 方法 的 收敛 性 . 对 例 7.12, 在 ti = 3/4 处 的 误差 Jw 一 yi| 当 作 子 区 间 数 目 n 
的 函数 . 按照 斜率 , HA O(n?) = O(h?) 


计算 机 问题 7.3 
1. Rn=8 Al n= 16, 用 配置 法 求 以 下 线性 边 值 问题 的 近似 解 . 


"=y+2e ” 2 
ar tL y” = (2+407)y, 
(b) 


(a) } v0) = u(0) =1, 
vl) = de; yD =e. 


画 出 近似 解 及 正确 解 (a) y(t) = t$ 及 (b) y(t) = ef ,并 在 分 离 的 半 对 数 坐 标 图 中 把 误 
差 展现 为 t 的 函数 . 
2. 取 n=8 及 n=16, 用 配置 法 求 以 下 线性 边 值 问 题 的 近似 解 . 


9y” +ry =0, y=3y -2y, 
(a) 4 Yo) 一 一 (b) 1 vy(0) =e", 
v (3) =3 y(t) = 1. 
画 出 近似 解 及 准确 解 (a) y(t) = 2sin $ 一 5 及 (b) y(t) = ex. 并 在 分 离 的 半 对 数 
坐标 图 中 把 误差 展现 为 t 的 常数 . 
3. 用 有 限 元 法 执行 计算 机 问题 1 的 步骤 . 
4. 用 有 限 元 法 执行 计算 机 问题 2 的 步骤 . 
软件 和 进一步 阅读 
在 许多 关于 常 微 分 方程 的 教科 书 中 讨论 了 边 值 问题 . 教科 书 [1] 是 对 常 微分 方程 边 值 问 
题 的 技巧 的 综述 , 它 包 括 本 章 没 有 讲述 的 多 重 打靶 法 . 关于 边 值 问题 的 打靶 法 和 有 限 差 分 法 的 
其 他 好 的 参考 文献 包括 [5,6,7] . 
IMSL 库 的 程序 BVPMS 和 BVPFD 对 两 点 边 值 问题 分 别 执行 打靶 法 和 有 限 差分 法 . 
BVPFD 使 用 一 种 变 阶 、 变 步 长 有 限 差分 方法 . 
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NAG 程序 DO2HAF 对 两 点 边 值 问题 用 Runge-Kutta-Merson 方法 和 Newton 和 迭代 执行 
打靶 法 . 程序 D02GAF 用 Newton 迭代 执行 一 种 有 限 差分 技术 去 解 结果 方程 .Jacobi 矩阵 是 
通过 数值 微分 计算 的 . D02JAF 通过 配置 法 解 一 个 n 阶 常 微分 方程 的 线性 边 值 问 题 . 

Netlib 库 包 含 用 户 可 调用 的 两 种 Fortran 子 程序 : 解决 线性 问题 的 MUSL 和 解决 非 线性 


问题 的 MUSN. 每 一 种 都 是 以 打靶 法 为 基础 的 . 


第 8 章 RAIDE 


20 世纪 70 年 代 由 英特尔 公司 生产 的 8086 中 央 处 理 器 以 5MHz 的 速度 运行 ， 
需要 的 能 量 小 于 SW. wA, 随 着 芯片 速度 几 百 倍 地 增加 , 其 耗 能 超过 了 50W. 为 避 
免 过 高 温度 对 处 理 器 的 损伤 , 使 用 散热 器 和 风扇 来 散发 热量 是 必 不 可 少 的 . 在 遵循 
Moore 定律 以 得 到 更 快 的 处 理 速 度 时 , 如 何 降温 始终 是 个 障碍 . 

抛物 型 偏 微分 方程 是 热量 散发 时 间 过 程 很 好 的 模型 当 热量 达到 一 个 平衡 时 ， 
一 个 椭圆 型 方程 模拟 了 定常 ( 稳 态 ) 分 布 . 

实例 检验 8.3.1 节 后 的 实例 检验 8, 利用 带 有 热 对 流 边界 条 件 的 椭圆 型 偏 微分 
方程 , 给 出 了 如 何 模拟 一 个 简单 的 散热 器 配置 . 


偏 微分 方程 是 带 有 一 个 以 上 的 自 变量 的 微分 方程 . 然而 这 个 主题 太 广泛 , 我 们 
将 把 讨论 局 限于 带 有 两 个 自 变量 的 方程 , 其 形式 为 


Auzz + Buzy + Cuyy + F(uz, uy, u, 2, y) = 0, (8.1) 


这 里 对 自 变量 的 偏 导数 由 下 标 z 和 y 表示 , u 表示 解 . 当 一 个 自 变 量 表示 时 间 , 如 
在 热 方程 中 , 可 以 把 自 变量 称 为 z 和 七 

(8.1) 中 的 前 面 3 项 决定 解 的 各 种 性 质 . 含有 两 个 自 变量 的 二 阶 偏 微分 方程 分 
类 如 下 . 

(1) 抛物 型 , 如 果 B? - 44C = 0; 

(2) 双 曲 型 , 如 果 B? -— 4AC > 0; 

(3) 椭圆 型 , 如 果 B? -44C <0. 

上 面 3 类 方程 的 实际 区 别 是 , 抛物 型 和 双 曲 型 方程 定义 在 开 域 . 关于 一 个 自 变 
量 (大 多 数 情形 是 时 间 变量 ) 的 边界 条 件 给 定 在 区 域 的 一 端 , 而 离开 边界 求 得 方程 
的 解 . 另 一 方面 , 椭圆 型 方程 习惯 上 在 一 个 闭 域 的 整个 边界 上 给 定 边界 条 件 . 我 们 
将 研究 每 种 类 型 的 一 些 例子 , 并 说 明 求 近似 解 的 数值 方法 . 


8.1 ”抛物 型 偏 微 分 方程 
热 方程 


Up = cuzz (8.2) 
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表示 沿 着 一 维 均匀 杆 测量 得 到 的 温度 wu. 常数 c > 0 叫做 扩散 系数 (diffusion coef- 
ficient), 表示 制造 杆 的 材料 的 热 扩散 率 . 热 方程 是 热量 从 密度 较 高 的 区 域 向 密度 较 
低 的 区 域 传播 的 模型 . GRRE A t. 

在 (8.2) 中 我 们 用 t PK y, 因为 它 代表 时 间 . 根据 前 面 的 分 类 , 有 B? 一 44C = 
0, 所 以 热 方 程 是 抛物 型 的 . 所 谓 的 热 方程 只 是 作为 某 种 物质 扩散 的 模型 的 扩散 方 
#2 (diffusion equation) 的 一 个 例子 . 在 材料 科学 里 , 把 同样 的 方程 当 作 是 Fick 第 二 
定律 , 它 描述 了 某 一 介质 中 的 物质 的 扩散 . 

类 似 于 常 微分 方程 的 情形 , 偏 微分 方程 (8.2) 有 无 穷 多 个 解 , 因此 需要 额外 的 
条 件 来 定 出 特 解 . 第 6 章 和 第 7 章 处 理 了 常 微分 方程 求解 , 那里 分 别 用 到 初始 条 件 
和 边界 条 件 . 为 了 适当 地 提出 一 个 偏 微分 方程 , 可 能 会 用 到 初始 条 件 和 边界 条 件 的 
各 种 结合 . 

对 于 热 方 程 , 根据 常识 , 我 们 直觉 上 知道 它 需 要 什么 条 件 . 为 了 唯一 地 确定 该 
情形 , 需要 知道 沿 着 杆 的 初始 温度 的 分 布 , 以 及 当时 间 进 展 时 , 在 杆 的 两 端 发 生 了 
什么 . 在 有 限 区 间 上 适当 提出 的 热 方程 形式 是 


Ut = CUre, a<z 和 b t>0, 
u(z,0) = f(z), a<z<b, 
u(a,t)=U(t), t20, 
u(b,t)=r(t), t20, 


这 里 杆 沿 着 区 间 a < z < b 延伸 . 扩散 系数 c 控制 热传导 速度 . 在 [a,b] 上 的 函数 
f(z) 给 出 沿 着 杆 的 初始 温度 分 布 , 1(t) 和 r(t) 对 t > 0 给 出 两 端的 温度 . 这 里 我 们 
已 经 把 初始 条 件 f(x) 和 边界 条 件 i(t) 及 rt) 结合 起 来 , 从 而 确定 偏 微分 方程 的 唯 
8.1.1 前 向 差分 方法 


根据 前 两 章 建立 的 方法 , 用 有 限 差分 方法 来 求 偏 微分 方程 的 近似 解 . 想法 是 对 
自 变量 建立 网 格 并 把 偏 微分 方程 离散 化 .把 连续 问题 变 成 有 限 多 个 方程 的 离散 问 
题 . 如 果 这 个 偏 微分 方程 是 线性 的 , 那么 它 的 离散 方程 是 线性 的 , 因此 , 能 够 用 第 2 
章 的 方法 求解 . 

为 在 时 间 区 间 (0,7) 上 离散 热 方程 , 我 们 考虑 图 8-1 所 示 的 点 的 网 格 . 其 中 , 实 
心 圆 表示 由 初始 条 件 和 边界 条 件 而 已 知 的 解 u(z,t) 的 值 , 而 空心 圆 是 网 格 点 , 并 将 
通过 这 种 方法 填 成 实心 . 我 们 用 ulz tj) 表示 在 (ai, tj) 处 的 准确 解 , 因而 wi; 表 
示 它 的 近似 解 . $ M 和 N 表示 z 方向 和 上 方向 的 总 步 数 , > h= (b 一 a)/M， 
k=T/N 是 z 方向 和 上 t+ 方向 的 网 格 步 长 . 

第 5 章 中 的 离散 公式 可 用 来 对 z 方向 和 + 方向 的 导数 进行 近似 . 例如 , 用 关于 


(8.3) 
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Zz 的 二 阶 导数 的 中 心 差分 公式 就 得 到 
tza(2,t) = Fy (ule + ht) — Zuz, t) + ule— hyd), (8.4) 
它 的 误差 是 h2wussszs(c1,t)/12; 而 关于 时 间 变 量 , 对 一 阶 导数 用 前 向 差 商 公式 给 出 
u(z,t) © E (ulz,t +k) — ule, t), (8.5) 


它 的 误差 是 kun(z,c2)/2, 其 中 s-h <c <s +h,t< c< t +h. 把 它们 代入 在 点 
(ci, tj) 处 的 热 方 程 就 得 到 


C 1 
jp (Wierd — wig + Wi-ag) & g (Wijt — Wij), (8.6) 


它 的 局 部 截断 误差 由 O(k) + O(n?) 给 出 . 恰 如 在 常 微分 方程 中 的 研究 一 样 , 只 要 方 
法 稳定 , 局 部 截断 误差 就 能 对 总 体 误差 给 出 了 一 个 好 的 图 景 ， 在 提出 实施 细节 后 ， 
我 们 将 研究 有 限 差分 方法 的 稳定 性 . 


图 8-1 有 限 差分 方法 的 网 格 : 实心 圆 表示 已 知 的 初始 条 件 和 边界 条 件 ， 
空心 圆 表示 能 确定 的 未 知 值 
注意 初始 条 件 和 边界 条 件 给 出 已 知 量 wio(i=0,… , M), woj 和 wmj,j=0,… ， 
N, 它们 相应 于 图 8-1 中 和 矩形 的 底 边 和 两 腰 ， 离散 形式 (8.6) 可 以 按时 间 方向 向 前 
逐步 求解 , 把 (8.6) 重新 写成 


ck 
wiser = Wij + Fa (Witli — Wij + Wi-j) = awiti + (1 — 20)wij + owE-1,5, (8-7) 


这 里 我 们 定义 o = $. 图 8-2 表示 (8.7) 所 涉及 的 一 组 网 格 点 , 常 称 为 方法 的 空格 
样板 (stencil). 

前 向 差分 方法 (8.7) 是 显 式 的 , 这 是 因为 这 种 方法 直接 由 前 面 (在 时 间 意 义 下 ) 
已 知 的 值 来 确定 新 的 值 . 不 是 显 式 的 方法 就 称 为 隐 式 的 . 图 8-2 中 这 种 方法 的 “ 空 
格 样板 ”表示 它 是 显 式 的 . EAER, 可 以 通过 矩阵 乘法 wj = Aw; + si, 即 
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1-20 o 0 ote 0 


0 oe 0 o 1-20 Wm+1,j 
(8.8) 
KARER tje 处 的 值 wii+l. 这 里 A 是 m x m HERE, m = M- 1. 右 端 向 量 
s; 表示 由 问题 强加 的 边界 条 件 , 本 例 中 就 是 杆 端的 温度 . 


j+1 
ij 
i-1 i i+] 


图 8-2 前 向 差分 方法 的 空格 样板 : 空心 圆 表 示 wij+1, 根据 (8.7), 它 可 
以 由 在 实心 圆 处 的 值 wis, wig 和 wii 来 确定 


求解 便 化 成 矩阵 公式 的 迭代 , 它 使 我 们 逐 行 填 满 图 8-1 中 空心 的 圆 . 迭代 和 矩阵 
公式 wji+l = Aw; + sj 类 似 于 第 2 章 中 讲 的 线性 方程 组 的 迭代 方法 . 那里 我 们 知 
道 迭 代 的 收敛 性 依赖 于 矩阵 的 特征 值 . 在 目前 的 情形 下 , 我 们 对 特征 值 感 兴趣 的 理 
由 稍 有 不 同 , 是 为 了 分 析 误 差 的 放大 或 不 稳定 性 . 

为 了 了 解 误差 放大 可 能 是 一 个 问题 , 考虑 当 c = 1 时 , 带 有 初始 条 件 f(z) = 
sin? 2xz 和 边界 条 件 u(0,t) = u(1, t) = 0( 对 一 切 t) 的 热 方程 . 初始 温度 峰值 随 着 时 
间 扩 散 , 便 产生 了 图 8-3a 所 示 的 图 . 在 该 图 中 , 公式 (8.8) 沿 着 杆 使 用 步 长 h = 0.1, 
而 时 间 步 长 & = 0.004. 显 式 前 向 差分 方法 (8.7) 给 出 图 8-3a 中 的 近似 解 , 表明 平滑 
热流 在 不 到 一 个 时 间 单 位 后 就 几乎 趋 于 平衡 状态 . 这 对 应 了 当 t 一 ce 时 杆 的 温度 
4 一 10. 

在 图 8-3b 中 , 用 稍微 大 一 点 的 时 间 步 长 上 = 0.005 5. 首先 , 如 我 们 预料 的 那 
FE, 热 扰 动 一 开始 就 逐渐 减少 ; 但 是 在 较 多 时 间 步 后 , 近似 解 的 微小 误差 由 于 用 了 
前 向 差分 而 被 放大 了 , 它 使 解 离开 正确 的 平衡 状态 零 而 去 . 这 是 求解 过 程 中 的 人 工 
产物 , 也 是 这 种 方法 不 稳定 的 一 种 信号 . 若 让 这 种 模拟 继续 进行 下 去 , 则 这 些 误差 
将 不 断 增 大 . 因此 我 们 被 迫 要 求 时 间 步 长 相当 小 以 保证 收敛 . 程序 8.1 给 出 了 执行 
(8.8) 中 计算 的 Marras 代码 , HK k = 0.004 对 应 于 在 时 间 方 向 N = 250 步 , 从 
t=0 到 t=1. 
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图 8-3 用 前 向 有 限 差分 方法 的 程序 8.1 求解 热 方 程 (8.2). 参数 c = 
初始 条 件 f(z) = sin? 2xz. 空间 步 长 h = 0.1. 当时 间 步 长 大 = 
0.004 0 时 , 前 向 差分 方法 稳定 , 见 (a), 当时 间 步 长 = 0.005 5 
时 前 向 差分 方法 不 稳定 , JL (b) 


% Program 8.1 Forward difference method for heat equation 
% input: space interval [xl,xr], time interval [yb,yt], 

% number of space steps M, number of time steps N 
% output: solution w 

% Example usage: w=heatfd(0,1,0,1,10,250) 

function w=heat fd(xl,xr,yb,yt,M,N) 

+ % diffusion coefficient 
xr-x1)/M; k=(yt-yb)/N; m=M-1; n=N; 

sigma=c*k/ (h*h) ; 

a=diag(1-2*sigma*ones (m,1))+diag(sigma*ones(m-1,1),1); 


a=a+diag(sigma*ones(m-1,1),-1); % define matrix a 
lside=1 (yb+ (0:n)*k); rside=r(yb+(0:n)*k); 
w(:,1)=£(x1+(1:m)*h)'; % initial conditions 
for j=1:n 


w(:,j+1)=a*w(:,j)+sigma* [lside(j) ;zeros(m-2,1) ;rside(j)]; 
end 


w= (lside;w;rside]; % attach boundary conds 
x= (O:m+1) *h;t=(0:n) *k; 
mesh(x,t,w') % 3-D plot of solution w 


view(60,30) ;axis((xl xr yb yt -1 2]) 
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function u=f (x) 
% Use dot notation in functions f, 1, and r 
u=sin(2*pi*x) .*2; 


function u=1(t) 
u=0*t; 


function u=r(t) 
u=0*t; 


8.1.2 ”前 向 差分 方法 的 稳定 性 分 析 


前 面 热 方程 模拟 所 呈现 的 奇怪 性 态 已 经 把 我 们 引入 问题 的 核心 ， 在 用 前 向 差 
分 方法 解 偏 微分 方程 的 过 程 中 , 用 切实 可 行 的 步 长 控制 误差 的 放大 是 有 效 求解 的 关 
RAR. 

恰 如 在 以 前 研究 的 常 微分 方程 情形 中 一 样 , 这 种 情形 存在 两 类 误差 . 由 于 导数 
的 近似 表示 , 离散 化 本 身 就 产生 截断 误差 . 从 Taylor 误差 公式 , 如 (8.4) 和 (8.5), 可 
知 这 些 误差 的 大 小 . 此 外 , 方法 本 身 还 存在 误差 的 放大 . 为 了 研究 这 种 放大 , 我 们 需 
更 仔细 地 观察 用 的 是 哪 种 有 限 差分 方法 . 

T e 诺 伊 曼 稳定 性 分 析 估量 了 误差 的 放大 或 扩大 . 对 一 种 稳定 方法 , 必须 选取 
步 长 使 误差 的 放大 因子 不 大 于 1. 

在 方程 (8.8) 中 , 令 yj 是 满足 yj = Ay; + s; 的 精确 解 , 并 且 令 w; 是 计算 
得 到 的 近似 解 , 它 满足 wj = Aw; + s;. 它们 的 差 e; = wj 一 yj; 满足 

ej =w; — yy = Aw;-1 + 8;-1— (Ayj_1 + 8;-1) 
=A(wj-1 — Y;-1) = Aej-1 (8.9) 

附录 A 中 的 定理 A.7 表明 , 为 了 保证 误差 e; 不 放大 , 我 们 要 求 4 的 谱 半 径 p(4) < 


1. 这 个 要 求 使 得 要 对 有 限 差分 方法 的 步 长 h A k 加 以 限制 . 为 了 确定 这 些 限制 条 
件 , 需要 关于 对 称 三 对 角 和 矩阵 的 特征 值 的 信息 . 


考虑 下 面 的 基本 例子 : 
二 1-0 0 
zi g =i 
T=| 0 a i s 0 |- (8.10) 
ee eee | 
0 - 0 -1 1 


定理 8.1 (8.10) PHE T 的 特征 向 量 是 (8.12) 中 的 向 量 v;,j =1,---,m, 
其 相应 的 特征 值 Xi = 1- 2coszj/(m+1),j = 1,.… ,m. 
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证 首先 回忆 三 角 学 中 的 正弦 加 法 公式 . 对 任 一 整数 i 和 实数 z, 可 以 把 等 式 
sin(i— 1)z = siniz cos x — cosixsinz, 
sin(i + 1)z = siniz cosz + cosizsinz, 


相 加 得 到 


sin(i — 1)z + sin(i + 1)z = 2sin iz cos z, 
它 能 写成 
—sin(i— 1)z+siniz — sin(i+1)z = (1 一 2cosz)siniz. (8.11) 
等 式 (8.11) TAR REM T HR. 固定 整数 j, 定义 向 量 


27j ,Mn 
sin e sin m]. (8.12) 


TE [a It 
Pi [sn m+1 


注意 : 其 元 素 具有 siniz Æ (8.11) 中 的 形式 , 其 中 c= zj/(m 十 1). 现在 可 看 到 
(8.11) 意味 着 


Tvj = (1 - 2008-72) vs, 了 = 了 (8.13) 
这 里 列 出 了 m 个 特征 向 量 和 特征 值 . 

当 j 从 m +1 开始, 向量 wj 重复 出 现 . 因此 , 如 估计 的 那样 , 恰好 有 m 个 特 
征 向 量 (见习 题 6). T 的 特征 值 都 在 -1 和 3 之 间 . 

定理 8.1 可 以 用 来 求 主 对 角 线 和 次 对 角 线 都 是 常数 的 任意 对 称 , 三 对 角 和 矩阵 的 
特征 值 . 例如 在 (8.8) 中 的 矩阵 A 能 表示 为 4 = -oT+(1 一 o)I. 根据 定理 8.1, 4 的 
特征 值 是 —o(1—2cosxj/(m+1))+1—0 = 20(cosxj/(m+1)—1)+1,j =1, + ,m. 
这 里 用 到 了 这 样 的 事实 , 即 当 一 个 矩阵 加 上 一 个 单位 矩阵 的 若干 倍 之 后 , 它 的 特征 
值 也 加 上 这 个 倍数 . 

现在 能 使 用 定理 A.7 的 准则 . 由 于 对 给 定 的 自 变量 z = nj/(m+1),1 <j <m, 
有 一 2 < cosz 一 1 < 0. 所 以 4 的 特征 值 可 能 在 -4o +1 和 1 之 间 . 假定 扩散 系数 
c > 0, 我 们 需 限 制 c < 4, 以 保证 A 的 特征 值 的 绝对 值 小 于 1, B p(A) <1. 

可 以 把 冯 “。 诺 伊 曼 稳 定性 分 析 的 结果 叙述 如 下 : 

定理 82 设 h 是 空间 步 长 ,kk 是 时 间 步 长 , 当 c > 0 时 , 把 前 向 差分 方法 用 
于 热 方程 (8.2). 如 果 Ack <h?, 那么 前 向 差分 方法 稳定 . 

我 们 的 分 析 进 一 步 证 实 了 图 8-3 中 的 现象 . 根据 定义 , 在 图 8-3a 中 , o = 
CHO) = 0.4 < $, 而 在 图 8-3b P, o = MESES) = 0.55 > $ ,这 里 出 现 了 误差 
K. 因为 显 式 差分 方法 的 稳定 性 依赖 于 步 长 的 选取 ， 所 以 称 它 为 条 件 稳定 的 . 
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8.1.3 ”后 向 差分 方法 

作为 供 比较 的 选择 方案 , 通过 使 用 隐 式 方法 , 可 以 把 有 限 差分 方法 重新 做 成 具 
有 较 好 的 误差 放大 性 质 . 同 前 面 一 样 , 在 热 方 程 中 我 们 用 中 心 差分 公式 代替 use, 但 
是 这 次 , 我 们 用 后 向 差分 公式 


u = E (ulat) — ulz, t — A) + un(e, 20), 


HP t- k < co < t, 来 近似 u. 我 们 从 第 6 章 得 到 启发 , 那里 通过 使 用 ( 隐 式 ) 后 向 
Euler 方法 , 改进 了 显 式 Euler 方法 的 稳定 性 , 而 这 种 隐 式 Euler 方法 就 使 用 了 后 向 
差分 . 

在 点 (zj tj) 处 将 差分 公式 代入 到 热 方程 , 有 


1 
RE — wij-1) = pwns — 2wij + Wi-1,5); (8.14) 


它 的 局 部 截断 误差 是 O(k) + O(h?), 它 与 前 向 差分 方法 给 出 的 误差 相同 . 式 (8.14) 
可 以 重新 写成 


一 cui+17 + (1 + 20)wij 一 cui-1j 一 ij-1， 


其 中 o= oh, 并 可 表示 成 m x m 矩阵 方程 


1+2¢ -o 0 ons 0 woj 
-o 14+20 -o Re : Wij Wi,j-1 0 
0 -o 1+2% … 0 | : | : | : 
3 $ $ A -0 Wmj Wm,j-1 0 
0 0 -o 1+20 Wm+l,j 
(8.15) 
这 就 是 后 向 差分 方法 . 
Bl 8.1 ”对 热 方程 使 用 后 向 差分 方法 
Ut = Uss, 0gzg1, t>0, 
u(z,0) = sin?2xz, 0<z<1, 
u(a,t) = 0, t>0, 
u(b,t) =0, t>0. 


可 以 修改 程序 8.1 以 使 用 后 向 差分 方法 ( 见 计算 机 问题 3). RABK h= k= 
0.1, 得 到 图 8-4 所 示 的 近似 解 . 与 在 图 8-3 中 执行 前 向 差分 方法 比较 , 那里 = 0.1, 
必须 取得 更 小 , 以 避免 不 稳定 . 4 
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图 8-4 用 后 向 差分 方法 近似 解 热 方程 (8.2): 扩散 系数 c = 1, HKh=k=01 


使 隐 式 方法 改进 的 理由 是 什么 ? 后 向 差分 方法 的 稳定 性 分 析 像 显 式 情形 一 样 
进行 . 后 向 差分 方法 (8.15) 可 以 看 成 矩阵 和 迭代 


w; = A™wj-ı +b, 


其 中 
1+2c -o 0 0 
-IC 1+20 -o 
A= 0 Se Te MO |e (8.16) 
: a "a i -0 
0 ira 0 -o 1+20 


和 前 向 差分 方法 的 冯 “。 诺 伊 曼 稳定 性 分 析 一 样 , 有 关 的 量 是 4-: 的 特征 值 . 因为 
Az=oT+(1+o)I, 引 理 8.1 指出 A 的 特征 值 是 


o 200 


nj nj 

m+ m+1’ 

而 AW? 的 特征 值 是 其 倒数 . 为 了 保证 A-! 的 谱 半 径 小 于 1, 需要 

1 + 20(1 — cosz)| > 1, (8.17) 


因为 1-cosz > 0,0 = $ > 0, 上 式 对 任意 o 都 成 立 . 因此 对 任意 o, 从 而 对 任意 选 
取 的 步 长 h 和 k, 隐 式 方法 稳定 , 这 样 的 稳定 就 定义 为 无 条 件 稳定 (unconditionally 
stable). 于 是 仅 限于 局 部 截断 误差 的 考虑 , 步 长 可 取得 大 得 多 . 

定理 83 ” 设 尹 是 空间 步 长 , k 是 时 间 步 长 , 当 c > 0 时 把 后 向 差分 方法 用 于 
热 方程 (8.2). 对 任意 h,k, 后 向 差分 方法 稳定 . 

例 8.2 ”用 后 向 差分 方法 解 热 方程 


7) #140 = 1420 20008 


Ut = 4uzz, O<2r<l1, O0<t<l, 
u(z,0) = ez/2， 0gz<g1, 
u(0,t) =e’, 0<t<l, 


u(1,t) =et-4, O0<t<1l 
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可 以 验证 其 准确 解 是 u(x,t) =e 9. h=k=0.1,c=4, Blo = 4 = 40. $8 
PE 4 是 9x 9, 而 且 在 10 个 时 间 步 的 每 一 步 都 用 Gauss 消去 法 解 (8.15). 如 图 8-5 
所 示 . 


图 8-5 用 后 向 差分 方法 解 例 8.2 的 近似 解 : 步 长 h = 0.1，k = 0.1 < 


因为 对 任意 步 长 , 后 向 差分 方法 都 稳定 , 可 以 讨论 由 于 在 空间 和 时 间 方 向 的 离 
散 化 而 产生 的 截断 误差 的 大 小 . 来 自 时 间 方 向 离散 化 的 误差 是 O(k) 阶 , 而 来 自 空 
间 方 向 离散 化 的 误差 是 O(n?) 阶 . 这 就 意味 着 : 对 于 小 步 长 h a k, 来 自 时 间 步 的 
误差 将 是 主要 的 , 这 是 因为 与 O(k) HHE, Oh?) 可 忽略 不 计 . 换言之 , 来 自 后 向 差 
分 方法 的 误差 可 以 粗略 地 描述 为 O(k) + O(h?) ~ O(k). 

为 了 说 明 这 个 结论 , 我 们 用 隐 式 有 限 差分 方法 , 对 固定 的 h = 0.1 和 一 系列 递 
减 的 去 求 例 8.2 的 解 . 表 8-1 说 明 在 (x,t) = (0.5,1) 测 得 的 误差 随 & 线性 地 减 
小 , 即 当 REIS, 误差 也 减 半 . 如 果 h 减 小 , 那么 计算 量 将 增加 , 但 是 对 给 定 的 k, 
误差 看 上 去 却 似乎 相同 . 


表 8-1 
h k u(0.5, 1) w(0.5, 1) 误差 
0.10 0.10 2.117 00 2.120 15 0.003 15 
0.10 0.05 2.117 00 2.118 61 0.001 61 
0.10 0.01 2.117 00 2.117 33 0.000 33 


8.1.4 Crank-Nicolson 方法 


到 目前 为 止 , 我 们 关于 热 方程 的 方法 包括 有 时 稳定 的 显 式 方法 和 永远 稳定 的 隐 
式 方法 . 在 稳定 时 它们 都 有 O(k +h?) 阶 的 误差 . 为 得 到 好 的 精度 , 要 求 时 间 步 长 
相当 小 . 

Crank-Nicolson 方法 是 显 式 方法 和 隐 式 方法 的 结合 , 它 是 无 条 件 稳定 的 , 并 且 
有 误差 阶 O(h? +k?) 公式 是 稍微 复杂 一 点 , 但 是 由 于 提高 了 精度 并 保证 了 稳定 性 ， 
这 些 麻烦 是 值得 的 . 
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在 热 方程 中 , 用 混合 差分 

a (Fms — 2wij + Wi_1i) + Sr — 2w; j-1 + wa) 
RE use, 并 用 后 向 差分 

天 (ui 一 Au 了 -1) 

代替 u. 再 令 o = 8, 可 以 把 热 方程 的 近似 表达 式 重新 写成 下 列 形式 : 

2wij — 2wig-1 = 0 [witli — wij + Wi + Wig g—1 — Wi j1 + Wi-j], 
或 者 

—owi-1 j + (2 +20)Wij -ouitly = 0Wi1j-1 + (2 — 20)Wi ga + OWi41,j-1. 


这 就 得 出 图 8-6 中 所 表 出 的 模型 . 


天 1 


i=l i i+l 


图 8-6 Crank-Nicolson 方法 的 网 格 点 : EER, a EAR 
量 , 而 实心 圆 是 由 前 一 步 得 到 的 


令 wj = (wj，…,aumji)T. Crank-Nicolson 方法 的 矩阵 形式 是 


Aw; = Bwj-ı + o(8;-1 + 83), 


其 中 
2+20 -o 0 0 
-0 2+2c -o 
A= 0 -o 2+20 0 ， 
一 5 
0 0 -0o 2+20 
2—20 o 0 0 
o 2-20 o 
B= 0 o 2-26 0 ， 
ği o 
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8; = (woj, 0,… ,0, Wm). 对 热 方程 应 用 Crank-Nicolson 方法 给 出 在 图 8-7 中 表 出 
的 结果 , 这 里 的 h = 0.1, k = 0.1. 这 个 方法 的 MATLAB 代码 在 程序 8.2 中 给 出 . 


图 8-7 用 Crank-Nicolson 方法 计算 热 方程 (8.2) 的 近似 解 : 步 长 h = 0.1, k = 0.1 


% Program 8.2 Crank-Nicolson method 

% input: space interval [xl,xr], time interval [yb,yt], 

% number of space steps M, number of time steps N 

% output: solution w 

% Example usage: w=crank(0,1,0,1,10,10) 

function w=crank(xl,xr,yb,yt,M,N) 

c=1; % constant coefficient 

hs (xr-x1) /M;k=(yt-yb) /N; % step sizes 

sigma=c*k/(h*h); m=M-1; n=N; 

a=diag (2+2*sigma*ones(m,1))+diag(-sigma*ones(m-1,1),1); 
a=a+diag(-sigma*ones(m-1,1),-1); % define tridiagonal matrix a 
b=diag(2-2*sigma*ones (m,1))+diag(sigma*ones (m-1,1),1); 
b=b+diag(sigma*ones(m-1,1),-1); % define tridiagonal matrix b 
lside=1(yb+(0:n)*k); rside=r(yb+(0:n)*k); 

w(s,1)=£(x1+(1:m)*h)'; % initial conditions 


[lside(j)+lside(j+1) ;zeros(m-2,1);rside(j)+rside(j+1)]; 
w(:,Jj+1)=a\ (b*w(:,j)+sigma*sides) ; 

end 

w=[lside;w;rside] ; 

x=xl+ (0:M) *h; t=yb+(0:N) *k; 

mesh (x,t,w') 7 

xlabel('x') ;ylabel('t'); 

axis([xl xr yb yt -1 2]) 


function u=f (x) 
ussin(2*pi*x) .*2; 
function u=1(t) 
u=0*t; 


function u=r(t) 
u=0*t; 


为 了 研究 Crank-Nicolson 方法 的 稳定 性 , VARHEE AB 的 谱 半径 , 其 
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中 A,B 在 前 面 已 给 定 ， 可 以 再 次 把 问题 中 的 矩阵 重新 表示 成 含 T 的 项 . 注意 
A=oT+(2+o)I, B=-oT + (2-0)I. {€ A'B RAT 的 第 7 个 特征 向 量 vj, 
得 到 
4-1Bui=(oT+(2+c)T)-:(-ocMoji+( 2 一 coj) 
= spears 十 2 一 5)oj， 
这 里 y 是 与 wj 相关 的 T 的 特征 值 . AWB 的 特征 值 是 


-oAj+2-—a0 4—(0(Aj +1) +2 4 
Ty tito ~ ETES lt- (6.18) 
其 中 L = o(dj +1) +2> 2, 这 是 因为 和 ; > -1. 因此 , 特征 值 (8.18) 在 -1 与 1 之 
间 . 和 隐 式 有 限 差分 方法 一 样 , Crank-Nicolson 方法 是 无 条 件 稳定 的 . 
定理 8.4 。 当 c>0 时 , 用 于 热 方程 (8.2) 的 Crank-Nicolson 方法 对 任何 步 长 
h,k > 0 都 是 稳定 的 . 
作为 本 节 的 结束 , 我 们 导出 Crank-Nicolson 方法 的 截断 误差 是 O(h?) + O(k?). 
加 上 它 的 无 条 件 稳定 性 , 使 它 更 优 于 热 方程 u = cuss 的 前 向 和 后 向 差分 方法 . 
下 面 4 个 公式 对 导数 是 需要 的 . 我 们 假定 , 如 果 需 要 , 解 u 的 高 阶 导数 是 存在 
的 . 根据 习题 5.1.22, 有 后 向 差分 公式 


i uw(z,t) awe —k) 4 


k k? 
guet) -guele tr), (8.19) 


其 中 tok <t <t, 并 假定 偏 导数 都 存在 . 把 ur 展开 成 关于 变量 t 的 Taylor 级 
数 得 


k2 
Use (Tt — k) = Uee(2, t) — kuzzt(z,t) — y Uzzte(T, t2), 


HP t- k< t <t, MH 


k2 
Uzz(T,t) = Uza(T,t — k) + kuzzt(T,t) + > Usat(2, ta). (8.20) 


亮点 ”收敛 性 

由 于 Crank-Nicolson 方法 具有 无 条 件 稳定 性 (定理 8.4) 和 (8.23) 表 
出 的 二 阶 收敛 性 , 所 以 对 热 方程 来 说 , 它 是 一 种 优先 选用 的 有 限 差分 方法 . 
由 于 方程 中 的 第 一 个 偏 导 数 u, 它 并 不 是 直接 导出 的 . 在 本 章 后 面 讨论 的 
波动 方程 和 Poisson 方程 中 , 仅 出 现 二 阶 导 数 , 因此 寻找 稳定 的 二 阶 方法 
要 容易 得 多 . 


二 阶 导 数 的 中 心 差分 公式 给 出 
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一 —h,t) k? 
te(ayt) = MEE MA) Pur te hA | alert), B21) 
EE = —h,t—k)  h? 
tge(,t — k) = ME + Mit — Ulat E ule IN) ant —h), 


(8.22) 
这 里 r, 和 zz 在 zx Moth Zia. 
把 上 面 4 个 等 式 代 入 热 方程 


一 C (jus + i) , 
这 里 已 把 右 端 分 裂 成 两 项 . 策略 是 用 (8.19) 代替 左 端 , 用 (8.21) 代替 右 端的 前 一 半 ， 
用 (8.20) 和 (8.22) 代替 右 端的 后 一 半 . 结果 是 


u(x,t) 一 ulat —k) 


ke 
+ Funlz, t)- tT, t1) 


= fe je i h,t) 一 Bite D +u(x —h, 四 4 每 we 


1 k? 
+3¢ |Ruzat(T,t) + y Ueate(2, ta) 
$ u(x +h,t— k) — 2u(z,t — k) + u(x — h,t — k) 


h? 
+ Fueeee(enst— 


h? 12 
因此 , 与 使 各 差 商 相等 有 关 的 误差 是 余 项 
k K ch? 
— guelet) + guelt, ti) 十 -34 [urrrz(Zl + Uesee(t2,t — k)] 


ck ck? 
+7 traelT, t)+ tT, t2). 


用 u = cuzz 就 能 简化 上 述 表达 式 . 例如 , 注意 到 curse = (Cuzz)i = wee, 这 就 使 误 
差 表 达 式 中 的 第 一 项 和 第 四 项 消去 . 截断 误差 为 


2 


k k? h? 
6 Uttt(T,t1) + o Uzztt(T, te) + x [uzzzz(T1,t) + Users (22, t — k)] 


k? k? h? 
= urte (a, t1) 十 4 utee(Z, t2) + getten t) + ust(T2,t — k)]. 


由 关于 变量 t 的 Taylor 展开 得 


ure (wa, t — k) = ut(T2,t) 一 kure(T2, t4), 
使 得 截断 误差 等 于 


2 
Breasts) + Peet) ~ E uaa te) = OH) + OR?) + RBA. (8.23) 


12c 
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我 们 断定 求解 热 方程 的 Crank-Nicolson 方法 是 一 种 二 阶 、 无 条 件 稳定 的 方法 . 
为 了 说 明 Crank-Nicolson 方法 的 快速 收敛 性 , 我 们 回 到 例 8.2 中 的 方程 . 习题 
5 和 习题 6 也 是 探索 收敛 速度 的 . 
例 8.3 ”应 用 Crank-Nicolson 方法 解 热 方程 


Ut = 4Uzz, 0 l, 0<Łt<1, 

,0)=e-#, O0<z<1 
u(z, 0) s <z<1, (8.24) 
u(0,t) = et, O0<t<l, 


表 8-2 给 出 由 前 面 计算 所 预测 的 O(h?)+O(k?) 的 误差 收敛 性 . 准确 解 v(z, = 
et 到 在 (x,t) = (0.5,1) 处 的 值 u = ef. 注意 当 h M k WER, 误差 减 小 到 原来 的 
1 与 例 8.2 ÆR 8-1 的 误差 进行 比较 : 


表 8-2 
h k u(0.5, 1) w(0.5, 1) 误差 
0.10 0.10 2.117 000 02 2.117 067 65 0.000 067 63 
0.05 0.05 2.117 000 02 211 701 689 0.000 016 87 
0.01 0.01 2117 000 02 2117 000 69 0.000 000 67 


习题 8.1 


1. 证 明 函数 (a) u(x,t) = e*** + e”-7 和 (b) u(x,t) = et? 分 别 是 热 方程 ut = 2uzz 在 
指定 的 初 边 值 条 件 下 的 解 . 


u(z,0) = 2cosh z, 0<z<1, u(z,0) =e, O<z<1, 
(a) 4 u(0,t) = 2e*, O<t<1, (bl u(0,t)=e*, O<t<1, 
u(1,t) = (e? + 1e*"?, O<t<1; u(1,t)=e%+, O<t<1. 


2. 证 明 函 数 (a) u(x,t) = e™ sin az 和 (b) u(x,t) = e~* cos mx 分 别 是 热 方程 nu = use 
在 指定 的 初始 边 值 条 件 下 的 解 . 


u(z,0) = sinrz， 0<z<1l， u(z,0)=cosmz, 0<z<kl 
(a) § u(0,t) =0, O<t<1, (b)4 u(0,t)=e™, O<t<il, 
u(1,t) =0, O0<t<l; u(1,t) = -e 于， O<t<1. 
3. 假设 f(z) 是 3 次 多 项 式 , 证 明 u(z,t) = f(x)+ctf" (1) 是 初 值 问题 u: = cuzz,u(z,0) = 
f(z) 的 解 . 


4. 假设 c < 0, 对 于 热 方程 而 言 , 后 向 差分 方法 是 无 条 件 稳定 吗 ? 请 解释 . 

5. 证 明 特 征 向 量 方程 (8.13). 

6. 证 明 : 对 任意 整数 m, (8.12) 中 的 非 零 向 量 v; RA mm 个 不 同 的 向 量 组 成 , 最 多 只 改变 
符号 . 
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计算 机 问题 8.1 


1. 取 步 长 h = 0.1,k = 0.002, 用 前 向 差分 方法 解 热 方程 w = 2uzz,0 < £ <10<t<1, 
其 初 边 值 条 件 如 下 : 


u(z,0) = 2cosh z, 0gzg1, u(z,0) =e", O0<2<l, 
(a) 4 u(0,t) = 2e2+， O<t<1, (bl u(0,t)=e", OK<t<], 
u(l,t) = (ez + le*?, O<t<1; u(1,t) =e", O<t<1. 


用 MATLAB 的 mesch 命令 画 出 近似 解 . 假如 使 用 k > 0.003 会 发 生 什么 现象 ? 与 习题 1 
中 的 准确 解 进行 比较 . 

2. 考虑 方程 nu = uzz,0 < z < 1,0 < t < 1, 以 及 下 述 两 种 初 边 值 条 件 . 取 步 长 h = 0.1, 
那么 步 长 k 取 什么 值 时 , 前 向 差分 方法 稳定 ? 使 用 步 长 h = 0.1,k = 0.01 的 前 向 差分 方 
法 并 与 习题 2 中 的 准确 解 比较 : 

u(z,0)=sinnz, O<2<1, u(z,0)=cosnz, O<z<1, 
of wu(0,t) = 0, O<t<l, of u(0,t) =e", O<t<l, 
u(1,t) = 0, O0<t<]l; u(1,t) = -e™™, O<t<1. 

3. 用 后 向 差分 方法 解 计 算 机 问题 1. 在 (z,t) = (0.5, 1) 处 作 一 张 准确 值 、 近 似 值 及 误差 的 
表 , 取 步 长 h = 0.02 及 上 = 0.02, 0.01, 0.005. 

4. 用 后 向 差分 方法 解 计算 机 问题 2. 在 (z,t) = (0.3, 1) 处 作 一 张 准确 值 、 近 似 值 及 误差 的 
K, MEK h = 0.1 & k = 0.02, 0.01, 0.005. 

5. 用 Crank-Nicolson 方法 解 计 算 机 问题 1, 在 (z, = (0.5, 1) 处 作 一 张 准确 值 、 近 似 值 及 
误差 的 表 , 取 长 步 h = k = 0.02, 0.01, 0.005. 

6. 用 Crank-Nicolson 方法 解 计算 机 问题 2, 在 (z,t) = (0.3, 1) 处 作 一 张 准确 值 、 近似 值 及 
误差 的 表 , 取 步 长 h = k = 0.1,0.05, 0.025. 


8.2 ” 双 曲 型 方程 


双 曲 型 方程 对 显 式 方法 设置 的 严格 约束 较 少 ， 本 节 针 对 称 为 波动 方程 的 这 种 
有 代表 性 的 双 曲 型 方程 , 来 探索 有 限 差分 方法 的 稳定 性 . 我 们 将 引入 CFL 条 件 , 它 
一 般 是 偏 微分 方程 解法 稳定 的 必要 条 件 . 


8.2.1 ”波动 方程 
考虑 偏 微分 方程 


Utt = Use, (8.25) 


a<z <b,t > 0. 与 标准 形式 (8.1) 相 比 , 我 们 计算 AC - B? = -cz < 0, 因此 这 个 
方程 是 双 曲 型 的 . 这 个 例子 称 为 波动 速度 为 c 的 波动 方程 . 保证 存在 唯一 解 的 典型 
的 初 边 值 条 件 是 
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u(z,0) = f(x), a<z<b, 

w(z,0) = 9(z), a<s<b, (eas 
u(a, t) = I(t), t>0, 

u(b, t) = r(t), t>0. 


与 热 方程 例子 相 比 , 由 于 方程 中 的 高 阶 时 间 导数 ,需要 额外 的 初始 条 件 . 直观 地 说 ， 
波动 方程 描述 了 随时 间 进 展 的 沿 着 z 方向 的 波 的 传播 . 为 了 明确 所 发 生 的 事情 , 我 
们 需要 知道 波 在 每 一 点 的 初始 形状 和 初始 速度 . 

波动 方程 是 很 广泛 的 一 类 自然 现象 的 模型 , 它 包 括 从 太阳 大 气 层 中 的 磁 波 到 小 
提琴 弦 的 振动 . 对 于 小 提琴 而 言 , 方程 中 涉及 的 振幅 u 表示 弦 的 物理 位 移 ; 对 于 空 
气 中 的 声波 移动 , u 表示 局 部 气压 . 

我 们 将 把 有 限 差 分 法 用 到 波动 方程 (8.25), 并 分 析 它 的 稳定 性 . 恰 如 在 抛物 型 
情形 中 一 样 , 有 限 差分 方法 在 如 同 图 8-1 那样 的 网 格 上 运行 . 网 格 点 是 (2i, tj), zi = 
a+ih,tj = jk, 其 中 h A k EHK. 和 前 面 一 样 , 我 们 将 用 wij 表示 ulzi, tj) 的 近 
似 值 . 

为 了 离散 波动 方程 , 在 z 方向 和 上 方向 用 中 心 差分 公式 (8.4) 代替 二 阶 偏 导 数 


Wig — Wij + Wiji _ .2 Wing — Wij + Wits _ g 
k2 h? È 


令 5= $, 可 以 求 得 下 一 时 间 步 的 解 , 并 且 把 上 面 的 离散 化 方程 写 为 
Wi j+ = (2 — 20?)wij + cwi +0 Witi — Wig-1- (8.27) 


PRAT (7-1 和 j) 时 间 上 的 值 , 所 以 在 第 一 时 间 步 不 能 用 公式 (8.27). 
这 一 点 类 似 于 与 起 始 多 步 常 微分 方程 方法 有 关 的 问题 . 为 了 解 这 个 问题 , 可 以 引入 
三 点 中 心 差分 公式 去 近似 解 u 的 一 阶 时 间 导 数 : 


Wi,j4+1 一 Wi,j—l 
， 


2k 


ur(zi, tj) © 


代入 第 一 时 间 步 (ziti) 的 初始 数据 , 得 到 


ga) = ulzi to) = “At 


或 者 
Wi,-1 © wa — 2kg(zi). (8.28) 


把 (8.28) 代入 j =0 时 的 有 限 差分 公式 (8.27), 给 出 


wit = (2 — 207) wig + 0? wi-1,0 十 a2uwitlo — Wa + 2kg(zi), 
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它 可 以 解 出 wa: 

wir = (1 — o2)wio + kg(zi) + Fos + Wi+1,0)- (8.29) 
AK (8.29) 用 于 第 一 时 间 步 . 这 是 使 初始 速度 信息 9 加 入 计算 的 一 种 方法 .公式 
(8.27) 可 用 于 所 有 以 后 的 时 间 步 . 由 于 对 空间 导数 和 时 间 导 数 用 了 二 阶 公式 , 这 个 


有 限 差分 方法 的 误差 将 是 O(h?) + O(k?) ( 见 计算 机 问题 3 和 计算 机 问题 4). 
为 了 把 这 个 有 限 差分 方法 写成 矩阵 形式 , 定义 


2-20? o? 0 e 0 
2 2-2? @ : 
A= 0 o 2-22 … 0 ; (8.30) 
: ` : * 22 
0 0 o? 2-207 
初始 方程 (8.29) 可 以 写成 
woo 
wi A wio 9(21) 1 0 
$ 一 二 $ z =o? ; 
: 34 : +k : + 3° : a 
ml Wmo g(zm) 0 
Wm+1,0 


(8.27) 的 后 续 各 步 可 以 由 下 式 给 出 : 


woj 
Wi, j+ wij wij-1 0 
=A| : = : +07 i 
Wm,j+1 Wmj Wmj-1 0 
Wm+1,j 


代入 其 他 的 初 边 值 条 件 , 这 两 个 方程 写成 


wi f(z1) 9(21) 0 
: |=34| : feel : fazer}: |, 
wn Flem) (em) 0 


r(to) 
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(8.27) 的 后 续 各 步 可 由 下 式 给 出 : 
U(t;) 


Wi j+ wij Wi j-1 0 
: =4| : |- : +0? : . (8.31) 
Wm,j+1 Wmj Wm,j—1 0 
r(t;) 


例 8.4 HWE c= 2, 初始 条 件 f(z) = sinzz, g(x) = !(z) = r(2) = 0 时 , 用 
显 式 有 限 差分 方法 解 波动 方程 . 

图 8-8 给 出 在 c= 2 时 波动 方程 的 近似 解 . 显 式 有 限 差分 方法 是 条 件 稳定 的 ， 
必须 小 心地 选取 步 长 , 以 避免 解法 的 不 稳定 性 . 图 8-8a 表示 稳定 的 选取 是 h = 0.05 
及 k= 0.025, 而 图 8-8b 表示 不 稳定 的 选取 是 h = 0.05 及 k= 0.032. 当时 间 步 长 
相对 于 空间 步 长 h KAM, 用 于 波动 方程 的 显 式 有 限 差分 方法 是 不 稳定 的 . 4 


1.00 


1.00 


(a) (b) 


图 88 用 显 式 有 限 差分 方法 求解 例 8.4 中 的 波动 方程 . 空间 步 长 是 h = 
0.05. (a) 对 时 间 步 长 & = 0.025, 方法 稳定 ; (b) 对 = 0.032, 
方法 不 稳定 


8.2.2 CFL 条 件 


矩阵 形式 方便 了 我 们 分 析 用 于 波动 方程 的 显 式 有 限 差分 方法 的 稳定 性 特征 . 如 
定理 8.5 中 所 叙述 的 分 析 结 果 , 解释 了 图 8-8. 

定理 8.5 ” 当 波 动 速度 c > 0 时 , wR o= E <1, 那么 用 于 波动 方程 的 有 限 
差分 方法 稳定 . 

证 方程 (8.31) 的 向 量 形式 是 
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W541 = Aw; — Wi-1++ 028j, (8.32) 


这 里 sj 使 边界 条 件 满足 . 由 于 wii 依赖 于 wj 和 wii, 为 了 研究 误差 的 放大 性 ， 
我 们 把 (8.32) 重新 写成 


Wj x A -I wj af 3 
(2 


并 把 这 个 方法 看 成 一 步 递 推 . 只 要 分 块 短 阵 


e 
I 0 
的 特征 值 的 绝对 值 不 大 于 1, 那么 误差 将 不 会 放大 . 
QAZO, (y2) 是 A 的 特征 值 /特征 向 量 对 , 因此 ， 


Ay = Ay - z, 


àz=y, 
它 意味 着 
Ay= (3 + a) Y 


所 以 /= 并 + 入 是 4 的 特征 值 . 4 的 特征 值 在 2 一 4o? 和 2 之 间 (见习 题 5). 假设 
o < 1, 这 就 意味 着 -2 < / < 2. 要 完成 证 明 , 只 需 对 复数 和 证 明 , 关上 + 入 是 实数 且 
最 大 绝对 值 是 2, 就 意味 着 |^| = 1 (见习 题 6). 

我 们 遵循 R. Courant, K. Friedrichs and H. Levy[5], 把 $ 称 为 方法 的 CFL 数 . 
一 般 地 , 为 了 使 偏 微分 方程 的 解法 稳定 , CFL 数 必须 不 大 于 1. 因为 c 是 波 速 , 这 就 
意味 着 解 在 一 个 时 间 步 所 移动 的 距离 ck 应 该 不 超过 空间 步 h. 图 8-8a 和 图 8-8b 
分 别 说 明 CFL 数 为 1 和 1.28 的 情形 . 约束 ck <h 称 为 波动 方程 的 CFL 条 件 . 

定理 8.5 说 明 , 对 于 波动 方程 , CFL 条 件 就 意味 着 有 限 差分 方法 的 稳定 性 . 对 
于 更 一 般 的 双 曲 型 方程 , CFL 条 件 对 稳定 性 是 必要 的 , 但 并 不 都 是 充分 的 . 详细 论 
述 见 [14]. 

在 波动 方程 中 的 波动 速度 参数 c 控制 波 的 传播 速度 . 图 8-9 表明 , 对 于 c = 6， 
在 一 个 时 间 单位 内 , 正弦 波 初始 条 件 振荡 3 次 , 相当 于 c = 2 的 情形 的 3 倍 . 
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图 8-9 用 于 c= 6 的 波动 方程 的 显 式 有 限 差分 方法 : 步 长 h = 0.05,k = 
0.008 满足 CFL 条 件 


习题 8.2 


1. 证 明 函 数 (a) u(z,t) = sin rz cos dt, (b) u(x,t) = e~*~**, (c) u(z,t) = In(1 +z + t) 4 
别 是 带 有 以 下 给 定 初 边 值 条 件 的 波动 方程 的 解 . 


Utt = 16uzz, Ute = duzz, 
u(z,0) = sin nz, 0grgl, u(z,0) = e77, 0<z<1, 
(a) 4 u(z,0)=0, O<z<1, (b){ w(z,0) = —2e-, 0gzrgl1, 
u(0,¢) = 0, O<t<1, u(0,t) = e7”, O<t<i, 
u(1,t) = 0, O<t<1; u(1,¢) =e", O<t<1; 
Utt = Use, 
u(z,0)=n(1+z), O<z<1, 
(c) 4 u(z,0) = 0<z<l， 


u(0,t)=In(1+t), O<t<1, 
u(i,t)=In(2+t), O<t<1. 
2. 证 明 函数 (a) wu(z,t) = sin rzsin 2xt, (b) u(x,t) = (x + 2t)*, (c) u(x, t) = sinh z cosh 2t 
分 别 是 带 有 以 下 给 定 初 边 值 条 件 的 波动 方程 的 解 : 


Utt = 4urz， Utt = 4Uzz, 
u(z,0) = 0, 0<z<1, u(z,0) = 2°, 0<z<1, 
(a) 4 w(x,0)=2nsinnz, O<z<1, (b) w(z,0) = 10z*, 0<z<1, 
u(0,t) = 0, O0<t<il, u(0,t) = 32°, O0<t<l, 
u(1,t) = 0, O<t<l; u(1,t)= (1+2), O<t<1; 
Utt = duzz, 
u(z,0) = sinh z, 0<zs<1， 
(c) 4 w(z,0)=0, 0<z<1, 
u(0,t)=0, 0<ts<1， 


u(1,t) = 3 (e—4)cosh2t, O<t<1. 
3. 证 明 u(x,t) = sin az coscat 和 uz(z,t) = er+et 都 是 波动 方程 (8.25) 的 解 . 
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4. 证 明 : 如 果 s(z) 二 次 可 微 , 那么 ulz, t) = s(az + cot) 是 波动 方程 (8.25) 的 解 . 

5. 证 明 (8.30) 中 A 的 特征 值 在 2 一 4o? 和 2 之 间 . 

6. 设 和 是 复数 . (a) 证 明 : 假如 入 + i 是 实数 , 那么 |A| = 1 或 者 和 是 实数 ，(b) 证 明 : 如 
果 和 是 实数 并 且 | 入 十 去 | < 2, 那么 | 和 | = 1. 

计算 机 问题 8.2 

1. W h=0.05,k = ,在 0<z<1,0<t< 1 上 ,用 有 限 差分 方法 解 习题 1 中 的 初 边 值 问 
题 . 用 MATLAB 的 mesh 命令 绘制 这 个 解 . 

2. Kh =0.05 以 及 大 足够 小 以 满足 CFL 条 件 , 在 0< z < 1,0 < t< 1 上 ,用 有 限 差分 方 
法 解 习题 2 中 的 初 边 值 问题 . 绘制 这 个 解 . 

3. 对 习题 1 中 的 波动 方程 , 把 在 (z,t) = (4, 2) 处 的 近似 解 及 其 误差 当 作 步 长 h = ck = 
2-?(p = 4,… ,8) 的 函数 , 列 出 上 述 近 似 解 及 其 误差 的 表 . 

4. 对 习题 2 中 的 波动 方程 , 把 在 (z,t) = (4,3) 处 的 近似 解 及 其 误差 当 作 步 长 h = ck = 
2-?(p = 4,… ,8) 的 函数 , 列 出 上 述 近 似 解 及 其 误差 的 表 . 


8.3 ”椭圆 型 方程 


前 两 节 处 理 了 与 时 间 有 关 的 方程 . 扩散 方程 把 热流 建 模 为 时 间 的 函数 , 而 波动 
方程 探索 波 的 运动 . 本 节 的 核心 是 椭圆 型 方程 , 用 来 模拟 定常 状态 . 例如 , 边界 是 给 
定 温度 的 平面 区 域 上 的 热 的 定常 分 布 . 能 用 椭 贺 型 方程 来 模拟 . 由 于 在 椭圆 型 方程 
中 时 间 通 常 不 是 一 个 因子 , 我 们 用 z 和 表示 自 变量 . 

定义 8.6 ” 设 u(z,y) 是 二 次 可 徽 函 数 , ZXu 的 Laplace BFA 


Au = uzz + Uyy- 
对 连续 函数 f(x,y), 偏 微分 方程 
Au(z,y) = f(x,y) (8.34) 


称 为 Poisson A. % f(x,y) = 0 时 , Poisson 方程 称 为 Laplace 方程 . Laplace 
方程 的 解 称 为 调和 函数 . 

为 了 与 标准 形式 (8.1) 比较 , 我 们 计算 AC 一 B? > 0, 因此 Poisson 方程 是 椭 
圆 型 的 . 保证 唯一 解 而 给 定 的 额外 条 件 一 般 是 边界 条 件 . 有 两 种 常见 的 边界 条 件 可 
FA. Dirichlet 边界 条 件 在 区 域 R 的 边界 OR 上 给 定 解 u(z,y) 的 值 . 诺 伊 曼 边界 条 
件 在 边界 上 给 定 方向 导数 路 的 值 , 这 里 n 表示 外 向 单位 法 向 量 . 

例 8.5 UEH u(x, y) = z? — y? 是 在 [0,1] x [0,1] LA Dirichlet 边界 条 件 


u(z,0)=2?, u(z,1) = z2 一 1 


u(0,y)=—y?, u(l,y)=1-¥7 
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的 Laplace 方程 的 解 . 
Laplace 算 子 是 Au = ure + ty =2 一 2=0. ra a ui 
方形 的 底 边 、 顶 边 、 左 边 和 右边 , 通过 代入 容易 得 到 检验 . 
Poisson 方程 和 Laplace 方程 在 经 典 物理 中 普遍 存在 , 这 是 因为 它们 的 解 代表 
势能 . 例如 , 电场 强度 E 是 静电 势 v 的 梯度 , 或 者 
E=-Vu. 


反 过 来 , 由 Maxwell 方程 


VE=£ 
E 


可 知 , 电场 强度 与 电荷 密度 p AK, 这 里 < 是 介 电 常 数 ， 把 这 两 个 方程 结合 起 来 
得 到 
Au=V(Vu) = 一 

即 电 势 u 的 Poisson 方程 . 在 零 电 荷 密度 这 种 特殊 情形 下 , 电势 满足 Laplace 方程 
Au=0. 

势能 的 许多 其 他 情形 可 以 用 Poisson 方程 来 模拟 ， 空 气动 力学 中 低速 空气 注 
Fr, 称 为 不 可 压缩 无 旋 流 , 就 是 Laplace 方程 的 解 . 由 质量 密度 p 分 布 产生 的 重力 
势能 u 满足 Poisson 方程 

Au = 4xGp, 

其 中 G 表示 引力 常量 . 稳定 状态 的 热 分 布 , 譬如 像 当 t 一 oo 时 热 方程 解 的 极限 , 是 
由 Poisson 方程 来 模拟 的 . 在 实例 检验 8 中 , 一 种 不 同 的 Poisson 方程 用 来 模拟 冷 
却 片 上 的 热 分 布 . 

余下 的 章节 介绍 解 椭圆 方程 的 两 种 方法 . 第 一 种 是 紧 随 抛物 型 和 双 曲 型 方程 
建立 起 来 的 有 限 差 分 方法 . 第 二 种 是 在 第 7 章 中 形成 的 解 边 值 问题 的 有 限 元 方法 . 


8.3.1 ”椭圆 型 方程 的 有 限 差分 方法 


假定 在 平面 的 矩形 区 域 [zu zr] x [yo ye] 上 给 出 Dirichlet WHA. 令 M 和 
N 分 别 是 c HAA 方向 的 网 格 步 数 . h= k= Wj 此 是 方向 和 y 方向 的 
步 长 . 如 图 8-10a 所 示 , 在 矩形 网 格 点 上 解 这 个 方程 . 由 于 边界 条 件 在 边界 上 是 已 
知 的 , 因此 解 需要 在 mn 个 点 上 计算 , 这 里 m= M 一 1,n = =-1. 图 8-10b 表示 对 
相同 的 解 值 的 另 一 个 编号 系统 , 这 些 解 将 在 这 个 方法 中 用 到 , 其 中 我 们 设 


Vi+(j-1)m = Vij (8.35) 
有 限 差 分 方法 包括 用 差 商 近 似 导 数 . Laplace 算 子 中 的 二 阶 导数 都 能 用 中 心 差 
分 公式 (8.4). Poisson 方程 Au = f 具有 有 限 差分 形式 


u(x —h,y) — 2u(z,y) + u(x +h, y) A u(z,y — k) — 2u(z,y) + u(z,y + k) 
h2 


K = f(z,y). 
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er =k, 可 以 把 上 式 写成 

u(x —h,y) + u(x +h,y) —2(1 + r)u(z,y) +r [u(z,y — k) + uz,y + k)] = h? f(x,y) 
(8.36) 

它 的 离散 化 形式 是 


Uiig + titij — 2(1 + r)uij +r(uij-1 + tijt) = h? f (ziyi), (8.37) 


这 里 zi = rı + ih yj = yo + jk. 按 图 8-10b 中 另 一 种 表示 法 , 上 式 就 对 应 于 


Vi—1+(j-1)m HVi+i+(j-1)m—2(1 十 r)u+G-Dm 十 r(w+O-2m 十 Wi+Hjm) 一 ji27(zi yj). 
(8.38) 


(b) 


图 8-10 用 于 解 带 有 Dirichlet 边界 条 件 的 Poisson 方程 的 有 限 差分 方 
法 用 的 网 格 : (a) 空心 圆 是 未 知 值 , 实心 圆 是 给 定 的 边界 数据 ; 
(b) 适合 线性 方程 组 逐 行 穿 过 的 网 格 点 顺序 的 编号 系统 (8.35) 


它 有 助 于 把 网 格 分 成 格外 要 特别 对 待 的 3 类 , 取决 于 它们 的 水 平和 垂直 方向 
上 的 相 邻 网 格 点 . 

内 核 (inner core) 点 , uij, 1 < i < m,1 <j <n, 它 的 4 个 邻 点 全 部 在 网 格 区 域 
内 部 . 

边界 (outer ring) 点 ui; 刚好 对 应 以 下 之 一 : i = 1,i = m,j = 1,j7=n. 这 些 点 
有 一 个 邻 点 在 边界 上 . 

四 角 (four corner) A, U11, Uin, Umi, Umn, 它们 有 两 个 邻 点 在 边界 上 . 

解 矩阵 方程 Av = b 确定 vn, 在 内 核 结 点 , (8.38) 表示 矩阵 A 的 第 i+ (7 一 D)m 
行 是 

[zeros(1,i — 1 + (j — 2)m) r zeros(1,m—2) 1 
—2(1 +r) 1 zeros(1,m— 2) r zeros(1,(n — j)m — i)], 
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这 里 MATLAB 记号 zeros(1, p) 用 来 表示 p 个 连续 零 . 边界 点 上 的 值 由 Dirichlet 
条 件 给 出 , 当 需 要 边界 结 点 和 四 角 结 点 上 的 值 时 , 就 代入 (8.37). 

最 后 , 这 些 方程 构成 了 一 个 线性 方程 组 , 可 以 用 第 2 章 中 适当 的 方法 求解 它 . 
我 们 用 图 8-10 的 计算 系统 来 确定 网 格 点 的 次 序 , 即 在 每 行 从 左 到 右 移动 . 在 这 种 假 
WE, 结构 矩阵 A 和 荷载 矩阵 b 的 每 一 行 就 能 直接 填 入 , 如 例 8.6 所 示 . 

例 8.6 取 M=N=4 用 有 限 差分 方法 求 在 [0,1] x [1,2] 上 的 Laplace 方程 
的 近似 解 , Dirichlet 边界 条 件 如 下 : 

u(z,1) = ln(z2 十 1)， u(z,2)= ln(z? +4), 
u(0,y)=2Iny, u(1,y) = In(y? +1). < 

我 们 将 在 正方 形 的 9 个 网 格 结 点 上 用 正确 解 u(z,y) = In(z? + y?) 与 近似 解 进 
行 比较 . 因为 M = N = 4, 所 以 网 格 步 长 h = = 上 ,r= h = 1. 唯一 的 内 核 点 的 
值 是 un = u (3,3), 它 相 应 于 vs. 根据 (8.37), 它 的 方程 是 

U12 + u32 一 2(1 + r)uz2 十 r(u2l + U23) = 0. (8.39) 
在 另 一 种 编号 系统 下 , 这 个 方程 是 
v4 + Ug 一 2(1 十 r)us + rvz 十 rus = 0, 
9 x 9 结构 矩阵 A 的 相应 行 是 
or0l -21+r 10 7 oq. 
4 个 边界 点 上 的 值 u21, u12, use, u23, 分 别 相应 于 v2, va, ve, vs, 并 且 每 一 个 都 取 方程 
的 一 个 边界 值 . 这 些 方程 是 


ua + u31 一 2(1 + r)uai + r(u20 + u22) = 0 (=27=1)， 
Uo2 + u22 — 2(1 十 7)uaz + r(ui + u13) =0 (=17= 2)， (8.40) 
U22 + u42 一 2(1 + r)us2 + r(usi + u33) = 0 (i= 3,7=2), 
U13+ ugg — 2(1 + r)uz3 + r(u22 + u2a) = 0 (i= 2,7 = 3), 
其 中 边界 条 件 是 
5 3 9 
u20 =u (5:1) 三 也 和 Uo2 =u(0 3) =z, 
3 13 1 17 


4 个 角 点 处 的 值 ui,usi,uas,auss 各 取 两 个 边界 值 . ui 的 方程 是 


5 i\? 
U21 — 411 + u12 = —to1 一 U10 = -27 —-in (G) + 1) F (8.41) 
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这 里 的 右 端 全 由 已 知 的 边界 值 填 满 . 结合 (8.39), (8.40) 及 (8.41), 得 知 要 解 出 wi; 
的 矩阵 方程 是 


= 1 0 0 0 0 0 un 一 0.506 9 
Tot Tt 0 i 0 0 0 U21 —0.223 1 
0 1 -40 0 1 0 0 0 us —1.387 3 
1 0 0 4 1 0 1 0 0 112 一 0.810 9 
0 0 1 0 4 1 0 1 0 uz |= 0 , 
0 0 1 0 1 -4 0 0 1 u32 —1.178 7 
0 0 0 1 0 0 -4 1 0 U13 一 2.521 0 
0 0 0 0 1 0 1 -4 1 u23 —1.446 9 
0 0 0 0 0 1 0 1 -4 u33 —2.919 7 
(8.42) 
并 且 解 由 以 下 9 4S u 值 组 成 : 


u13 = 1.139 0, u23 = 1.197 4, u33 = 1.287 8, 
u12 = 0.837 6, u22 = 0.915 9, u32 = 1.034 1, 
u1 = 0.484 7, u21 = 0.594 4, 431 = 0.753 9. 


图 8-11a 绘 出 了 近似 解 uij. 在 相同 的 点 , 它 与 准确 解 u(z,y) = In(z? + y?) 比较 接 
' =1.1977,  u(ł,ł) = 1.287 9, 


=0.9163, u (ł, $) = 1.034 1, 
=0.5947, u (ł, į) = 0.753 8. < 


100 f 
(a) 
图 8-11 有 限 差分 方法 解 例 8.6 的 椭 贺 型 偏 微 分 方程 : (a) M =N =4, 
步 长 h=k=0.25; (b) M=N=10, HK h=k=0.1 


有 限 差分 方法 的 MATLAB 代码 如 下 : 
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% Program 8.3 Finite difference solver for 2D Poisson equation 
多 with Dirichlet boundary conditions on a rectangle 

% Input: rectangle domain [xl,xr]x[yb,yt], covered by MxN grid 
% Output: matrix w holding solution values on MxN grid 
function w=poisson(xl,xr,yb,yt,M,N) 

m=M-1;n=N-1; 

xr-x1) /M;h2=h*2;k=(yt-yb) /N; 


% set mesh values 

yeyb+ (yt-yb) * (0:N) /N; 

eros (1,m-2) ; 

a-zeros(m*n,m*n) ;b=zeros(m*n,1); % initialize structure matrix 
% load structure matrix a 

% inner core 


a(i+(j-1) *m, :)=(zeros(1,i-1+(j-2)*m) r z 1 -8 1 2T 
zeros (1, (n-j)*m-i)]; 
b(i+(j-1)*m)=h2*f(x(i+1),y(j+1)); 
end 
end 
% outer ring 
jel; % bottom row 


a(i+(j-1)*m,:)=[zeros(1,i-2) 1 -s 1 z r zeros(1,(n-j)*m-i)]; 
b(i+(j-1)*m)=h2*f (x(i+1),y(j+1))-r*gbottom(x(i+1)); 
end 
j % top row 


a(i+(j-1)*m, :)=[zeros(1,i-1+(j-2)*m) r z 1 -s 1 zeros(1,m-i-1)]; 
b(i+(j-1)*m)=h2*f(x(i+1),y(j+1))-r*gtop(x(i+1)); 
end 
i=1; % left side 
for j=2:n-1 
a(i+(j-1)*m, :)=[zeros(1,i-1+(j-2)*m) r z 0 -s 1 zr... 
zeros(1, (n-j)*m-i)); 
b(i+(j-1)*m)=h2*f (x(i+1),y(j+1))-gleft (y (j+1)); 
end 
i=m; % right side 
for j=2:n-1 
a(i+(j-1)*m,:)=[zeros(1,(j-1)*m-1) rz 1 -s0zr... 
zeros(1, (n-j)*m-i)]; 
b(i+(j-1)*m)=h2*f (x(i+1),y(j+1))-gright (y (j+1)); 
end 
% four corners 


% bottom left 

a(i+(j-1)*m,:)=[-s 1 z r zeros(1, (n-1)*m-1))]; 

b(it (j-1) *m) = 2*£ (x (i+1) ,y (j+1)) -r*gbottom(x(i+1))-gleft (y (j+1)); 
i=m;j=1; % bottom right 


382 第 8 章 偏 微分 方程 

a(i+(j-1)*m,:)=[z 1 -s 0 z r zeros(1, (n-2)*m)]; 
bli+(j-1)*m)=h2*f (x(i+1),y(j+1))-r*gbottom(x(i+1))-gright (y (j+1)); 
i=1;j=n; % top left 
a(i+(j-1)*m,:)=[(zeros(1,(n-2)*m) r z 0 -s 1 zeros(1,m-2)]; 
b(it(j-1) *m) =h2*f£ (x(i+1) ,y (j+1) )-r*gtop(x(i+1) )-gleft (y (j+1)); 
i=m;j=n; % top right 
a(i+(j-1)*m,:)=(zeros(1,(n-1)*m-1) r z 1 -s); 
b(i+ (5-1) *m) =h2*£ (x(i+1) ,y(j+1))-r*gtop(x(i+1))-gright (y(j+1)); 
v=a\b; % solve for solution 
w=zeros (m,n); 
for i=l:m % put solution into mesh 

for j=l:n 

w(i,j)=v(i+(j-1)*m); 

end 

end 


wl=[gbottom(x(2:M))' w gtop(x(2:M))']; % add boundary conditions 
wl=[gleft (y) ;wl;gright (y)]; 
mesh (x,y,wl1') 


function u=f (x,y) % right hand side of equation 
u=0; 
function u=gbottom(x) % bottom of rectangle 


% Use dot notation 
uslog(x.*2+1); 


function u=gtop(x) % top of rectangle 
uslog(x.*2+4); 


function u=gleft (y) % left side of rectangle 
u=2*log (y); 
function u=gright (y) % right side of rectangle 


uslog(y.*2+1); 


因为 用 了 二 阶 有 限 差分 公式 , 有 限 差分 方法 Poisson.m MRM F h Al k 是 


二 阶 的 . 图 8-11b 对 于 h= k= 0.1 表示 出 了 更 为 精确 的 近似 解 . 可 对 和 矩形 区 域 写 
出 MATLAB 代码 Poisson.m, 但 对 更 一 般 的 区 域 须 作 改变 . 


再 举 一 个 用 Laplace 方程 计算 势能 的 例子 . 
例 8.7 ”在 正方 形 [0,1] x (0,1) 上 求 静电 势 , 假定 内 部 无 电荷 并 满足 以 下 边界 


条 件 : 


u(z,0)=sinxz, u(z,1)= sinzz, 


u(0,y)=0, u(1,y)=0. 


势能 u 满足 带 Dirichlet 边界 条 件 的 Laplace 方程 .在 Poisson.m 中 取 步 长 


h=k=0.1 È M =N =10, 结果 由 图 8-12 给 出 . < 


8.3 椭 国 型 方程 383 


图 8-12 Laplace 方程 中 的 静电 势 , 边界 条 件 由 例 8.7 给 出 


实例 检验 8 ”冷却 片上 的 热 分布 


散热 器 用 来 把 过 多 的 热量 从 来 源 处 移 开 . 在 这 个 主题 中 , 我 们 将 对 沿 着 一 个 散热 器 矩形 片 
的 稳 态 分 布 建立 模型 . 热能 将 沿 着 其 中 一 侧 进 入 这 个 (冷却 ) 片 . 主要 目的 是 设计 这 个 片 的 尺 
寸 以 便 使 温度 保持 在 安全 允许 限度 内 . 

这 个 片 的 形状 是 一 个 薄 的 矩形 平板 , 它 的 尺寸 为 Lex Ly, 厚度 是 5 毫米 . 为 了 使 问题 简 
化 , RADR ulz, y) 来 表示 温度 , 并 且 认 为 在 第 三 维 沿 着 5 毫米 , 它 是 常数 . 

热 运动 按 下面 3 种 方式 进行 : 传导 、 对 流 和 辐射 传导 是 指 相 邻 分 子 间 能 量 的 传送 , 可 能 
是 由 于 电子 的 运动 , 而 在 对 流 中 是 分 子 本 身 在 运动 . 这 里 我 们 将 不 考虑 辐射 这 种 借助 于 光子 的 

传导 通过 传导 物质 进行 , 服从 Fourier 第 一 定律 

q=-KAVu, (8.43) 


其 中 q 是 每 单位 时 间 的 热能 [单位 : watts (瓦特 )], 4 是 该 物质 的 横 截面 面积 , Vu 是 温度 的 梯 
BE 常数 K 称 为 该 物质 的 热传导 系数 (thermal conductivity). 对 流 遵从 牛顿 冷却 定律 


gq=—HA(u— u), (8.44) 


其 中 H 是 一 个 比例 常数 , 称 为 对 流 换 热 系数 (convective heat transfer coefficient). ws 是 周围 
流体 (本 例 中 是 空气 ) 的 外 界 温度 或 整体 温度 (bulk temperature). 

这 个 冷却 片 是 z 方向 为 6 毫米 的 [0, Le] x [0, Ly) RB, 如 图 8-13a 所 示 . 在 冷却 片 内 部 
的 Aa x Ay x 5 盒子 内 部 , 能 量 均衡 地 沿 着 z 和 y 轴 进 入 冷却 片 , 即 每 单位 时 间 进 入 盒子 的 
能 最 等 于 流出 的 能 量 . 由 于 传导 , 热流 经 过 Ay x 5 两 面 及 Ar x 6 两 面 进入 盒子 , 而 由 于 对 流 ， 
热流 经 过 Ac x Ay 两 面 进入 盒子 , 这 样 就 产生 了 稳 态 方程 : 


— KAy6buz(z,y) + KAyduz(z + Az, y) — KArdu(z,y) 
+ KAzéw(z,y + Ay) — 2HAzAyu(z,y) = 0. (8.45) 


这 里 为 了 方便 , 取 外 界 温度 u = 0, 这 样 u 将 表示 冷却 片 和 周围 的 温度 差 . 
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对 流 Ar 


(a) (b) 
图 8-13 ”实例 检验 8 中 的 冷却 片 ，(a) 能 量 输入 在 冷却 片 的 左 侧 沿 着 区 
闻 (0, L) 出 现 . (b) 内 部 小 盒子 的 能 量 转移 是 通过 沿 着 z 方向 
A y 方向 的 传导 以 及 沿 着 空气 界面 的 对 流 进行 的 


除 以 AzAy 就 得 到 


Uz(T + Az,y) — uz(T,Y) uy(z,y + Ay) — uy(z,y) _ 
Kô ul +K6 7 =2Hu(z,y), 


当 Az 一 0, Ay 一 0 取 极限 , 结果 就 是 椭 贺 型 偏 微 分 方程 
2H 
Use + uyy = KE (8.46) 
类 似 的 论证 得 到 沿 垂 直 边 的 对 流 或 Robin 边界 条 件 
Kuz + Hu=0, 


以 及 沿 水 平 边 的 Robin 边界 条 件 
Ku, + Hu=0. 


能 量 沿 着 冷却 片 的 左 侧 进入 , 它 遵从 Fourier 定律 


P 
Kuz = a Al 


其 中 P 是 总 能 量 , L 是 输入 长 度 . 
在 步 长 分 别 为 h 和 的 离散 网 格 上 , 有 限 差分 近似 能 用 于 把 偏 微分 方程 (8.46) 近似 为 


it — 2tij — Wi 十 aid 二 2uij + uij- _ 2H 
h? k? ~ Kb V 
这 个 离散 形式 用 于 内 点 (zi,), 其 中 0 <i < M,0 <j< N, 这 里 M,N 是 整数 . 冷却 片 
的 边界 服从 Robin 条 件 , 可 用 一 阶 导数 的 近似 公式 


po- M@+ME+ N= 12+) , ol 
把 它 用 到 4 条 边 上 , 就 得 到 
et he = 一 天 ua ( 底 边 )， 
Ui,N-2 一 Menci + 3uin 本 -Eux (项 边 )， 
一 3uoj 二 一 ui = ae (左边 )， 
um-25 — MM- + BM _ ay, (右边 )， 


2h K 
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能 量 沿 着 左 侧 进入 , 可 用 方程 
-3uoi +4uj—uj__ _P (8.47) 


2h LKS’ 
需要 解 含 (M + 1)(N +1) 个 未 知 数 wij(0 < i< M,0 < j <n) 的 (M 十 1)(N 十 1) 个 方程 
从 而 得 到 偏 微分 方程 的 近似 解 . 
假定 冷却 片 是 铝 构成 的 ， 铝 的 导热 率 K = 1.68W/(cm°C), 再 假定 对 流 换 热 系数 H = 
0.005W/(cm-°C), 并 且 室 温 u = 20°C. 


建议 习题 

1. 一 开始 , 冷却 片 尺寸 为 2cm x 2cm, 厚度 是 Imm. 假定 沿 着 整个 左边 界 输入 5W 能 量 , 就 
好 像 这 个 冷却 片 连接 到 了 长 度 L = 2cm 的 CPU 芯片 中 的 散热 器 一 样 . 在 z 方向 和 vy 
方向 取 M = N = 10 步 , 解 偏 微 分 方程 (8.46). 用 mesh 命令 描绘 zy 平面 上 的 热 分 布 . 
冷却 片 的 最 高 温度 是 几 摄 氏 度 ? 

2. 把 冷却 片 的 尺寸 增 大 到 4cm x dom. 在 冷却 片 的 左边 界 沿 着 区 间 [0, 2] 输入 5W 能 量 ， 
取 相 同 的 M = N = 10. 描绘 热 的 分 布 , 并 求 出 最 高 温度 . 增加 M 和 N 的 值 进行 实验 ， 
解 的 改变 有 多 大 ? 

3. 在 保持 最 高 温度 低 于 80°C BY, R 4cm x 4cm 冷却 片 能 够 耗 散 的 最 大 能 量 ， 假 定 外 界 温 
度 是 20°C, 并 且 假 定 如 同 第 1 步 和 第 2 步 , 能 量 沿 着 2cm MA. 

4. 用 铜 片 代替 铝 片 , 导热 率 K = 3.85W/(cm-°C), 当 保持 最 高 温度 低 于 80°C 时 , 在 最 佳 处 
输入 2W 能 量 , R 4cm x dom 冷却 片 能 够 耗 散 的 最 大 能 量 . 
为 台式 计算 机 和 便携 式 计算 机 设计 冷却 片 的 编制 程序 是 一 个 吸引 人 的 工程 问题 . 为 了 发 
散 比 以 前 更 多 的 热量 , 在 一 个 小 空间 里 需要 几 块 冷却 片 , 并 且 在 靠近 冷却 片 边界 处 使 用 风 
扇 以 增强 对 流 , 加 入 风扇 使 冷却 片 几 何 形状 复杂 化 , 就 把 模拟 引 到 计算 流体 力学 的 领域 ， 
这 是 一 个 现代 应 用 数学 的 极 重要 的 领域 . 


8.3.2 ”椭圆 型 方程 的 有 限 元 方法 


解 偏 微分 方程 的 有 限 元 方法 比 有 限 差分 法 有 着 关键 性 的 优点 . 例如 , 结果 得 到 
的 线性 方程 组 即使 在 基础 几何 形状 复杂 时 也 有 对 称 结构 的 矩阵 . 

通过 使 用 Galerkin 方法 来 应 用 有 限 元 素 . 我 们 在 第 7 章 已 对 常 微分 方程 边 值 
问题 引入 了 Galerkin 方法 . 尽管 敌 记 要 求 更 广泛 , 但 是 对 偏 微分 方程 使 用 这 种 方法 
的 步 又 却 相同 . 考虑 椭圆 型 方程 


Au +r(z,y)u = f(x,y), (8.48) 


函数 u(z,y) 在 平面 的 有 界 区 域 RA, R 的 边界 是 逐 段 光滑 的 封闭 曲线 S. 在 边界 
S = Si US, 上 典型 的 条 件 是 , 在 Sı 上 u(z,y) = g1(z,y)(Dirichlet) 以 及 在 S2 上 
$4 (x,y) = g2(z,y)(Neumann), 这 里 n 表示 外 向 法 向 量 . 
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如 在 第 7 章 一 样 , 我 们 将 应 用 在 区 域 R 上 的 72 函数 空间 . 令 
1(R) = Eza ERE If, ola, UPdzdy 存 在 且 有 限 } 


我 们 的 目标 是 : 通过 使 残 差 r = Au(z,y) + r(z,y)u(z,y) 一 f(z,y) 与 Z2(BR) 的 
一 个 大 的 子 空间 正 交 , 而 使 椭 贺 型 方程 (8.48) 的 误差 的 平方 极 小 化 ， 令 plz y) 
gp2(Z,y),… ,pp(Z,y)  L?(R) 的 一 个 子 集 , 其 中 每 一 个 都 在 边界 S 上 取 零 值 . E 
交 化 假定 取 为 形式 


[ (Au+ru— fpidrdy=0 
R 


或 者 
[ (Aut+ru)pidrdy = [ fypidrdy, (8.49) 
R R 


HH 1 <i p. 形式 (8.49) 称 为 椭圆 型 方程 (8.48) 的 弱 形 式 . 

以 下 定理 包括 了 用 Galerkin 方法 需要 的 分 步 积分 . 

定理 8.7 (Green 第 一 恒等式 ) 设 尺 是 边界 3 逐 段 光滑 的 有 界 区 域 . u,v 是 
分 段 光滑 函数 , n 表示 沿边 界 的 单位 外 向 法 向 量 . 那么 


Ou 
vdu= | -j Vu: Vv. 
h s On IR 


方向 导数 可 以 计算 为 


“= vu. (nz, ny), 


ôn 
这 里 (nz, ny) 表示 R 的 边界 上 的 外 向 法 向 量 . 把 上 述 Green 恒等式 用 到 (8.49) 就 
得 到 


| pigadS -Í (Vu - Vpi)drdy -f rupidrdy = Í fpidrdy, (8.50) 
Sa R R R 


i=1, ,p, 其 中 用 到 了 在 S 上 yi 等 于 零 这 一 事实 . 
有 限 元 方法 的 本 质 是 把 


a 
u(z,y) = >> cipi(z, 切 (8.51) 
i=1 


代入 偏 微分 方程 的 弱 形式 , 其 中 c; 是 常数 , p < q. 回忆 一 下 , ypi(1 <i < p) 在 边界 
上 等 于 零 . 通过 配置 , 函数 pi(p+1<i< 和 9) 将 被 用 来 满足 在 Sı 的 Dirichlet 边界 
条 件 . 一 旦 确定 了 常数 cpp ,ca, 我 们 将 去 求 出 其 余 的 c1,… ,cp. 

把 (8.51) 代入 (8.50), 结果 是 
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a a 
Í Pig2dS 一 [ b> cj Ve; | - Voidrdy -f r > cjpj | pidady 
So R \s=1 R NI 
=|| rearav i=1,.…,p. 


把 常数 因子 ci 提取 出 来 , 并 解 出 其 中 前 面 p 个 就 得 到 


q 
So (J Vo; - Vpidrdy -Í roreudzdl] = [ vigadS -Í fyidady 
R R S2 R 


j=1 


或 者 
P 
Yo (f Ves- Vordady ~ || reset] =| vinas- || feidzdy 
R R S2 R 


j=l 


q 
-Do Ij, Vo; + Vpidzdy 一 J, feseðzdy ， i=l, yp (8.52) 


j=p+1 


我 们 建立 了 含 p 个 未 知 量 cl cx,… ,cp 的 p 个 方程 的 线性 方程 组 , 其 矩阵 形式 是 
Ac = b, 其 中 矩阵 A 的 元 素 和 向 量 b 的 元 素 分 别 是 


Qij = | Vo; Vpidrdy -Í rpjpidzdy, (8.53) 
R R 


4 
b= ie pig2dS 一 Í. fypidrdy 一 >, Cj (5, Voj Veidady 一 人 rorodaan] 4 
(8.54) 

注意 到 结构 矩阵 A 是 对 称 的 . 

最 后 , 我 们 准备 选取 一 组 显 函 数 来 作 有 限 元 素 yi, 并 且 计划 进行 计算 . 我 们 按 
第 7 章 的 引导 , 选取 平面 中 三 角形 区 域 上 的 线性 B 样 条 , > Aly 的 分 段 线 性 函数 . 
使 用 区 域 R 内 的 结 点 v1,… ,vp 和 在 边界 上 的 结 点 vp+1,… ,v4 来 形成 区 域 R 的 
三 角形 前 分 . 

具体 而 言 , 我 们 将 考虑 矩形 区 域 R 上 的 纯 Dirichlet 问题 , 即 令 S 为 空 集 . 考 
虑 图 8-14 中 的 M x N 网 格 . & m= M—1,n=N-1. 图 8-14a 表示 矩形 区 域 的 
一 种 可 能 的 三 角形 前 分 . 我 们 提出 一 种 三 角形 的 编号 系统 , 即 从 左 到 右 开始 且 由 下 
而 上 移动 . 

设 p1,… ,pa 是 分 段 线性 函数 , 满足 pi(wi) = 1, 当 j 关 i 时 piloj) = 0, 并 且 在 
图 8-14a 中 每 个 三 角形 上 是 线性 的 . 从 而 , 除了 在 三 角形 的 边 上 外 , 每 一 个 pi(z,y) 
都 是 可 微 的 , 因此 是 Riemann 可 积 函数 . 根据 定义 , 它们 满足 


q 
> avilvs) = cj, Jah 


i=1 
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根据 假设 , 在 顶点 v; 处 的 解 的 近似 值 uloj) 就 是 cj. 一 旦 解 出 方程 组 Ac = b, 就 
可 得 到 近似 解 . 


Vptm+2 


图 8-14 H Dirichlet 边界 条 件 的 椭 贺 型 方程 的 有 限 元 解法 : (a) 矩形 区 
域 三 角形 剖 分 及 编号 系统 ;(b) 顶点 编号 系统 , 空心 圆 表示 项 点 
ul ,Vp; 实心 圆 表 示 边 界 上 的 顶点 vp+1,… va 其 中 4 = 
(m+2)(n+2) 


首先 可 以 由 在 S, 上 的 Dirichlet 边界 条 件 
=v), P+1l<j<g 


确定 常数 cp+1,… ,cg. 然后 把 这 些 值 代入 (8.52) 的 右 端 , 去 解 p 个 方程 (的 方程 
组 ) 的 解 c1,… ,cp， 余 下 的 问题 是 计算 矩阵 (8.53) 和 向 量 (8.54), 以 及 解 方程 组 
Ac = b. 

和 矩阵 R 是 三 角形 的 组 合 . 图 8-14a 中 有 2(m + 1)(n + 1) 个 三 角形 . 矩阵 元 素 
可 以 按 所 显示 的 次 序 , 通过 在 每 个 三 角形 上 计算 得 到 . 依次 求 出 每 一 个 积分 并 把 其 
贡献 加 到 ai; 和 b; 中 去 . 

用 二 维 中 点 法 则 来 近似 计算 分 段 线性 函数 的 积分 ， 定 义 平面 区 域 R 的 重心 
(barycenter) 为 点 (z, g), 其 中 


| adady J ydzrdy 
z= g= 3E 
Í 1ldzdy | ldzdy 
R R 
WR RAGA (21,11), (22,42); (23,43) 的 三 角形 , 那么 它 的 重心 是 (见习 题 6) 
= 2Z1 十 Z2 十 Z3 7 wrtyetys 
r= 3 ý j= 3 6 


引 理 8.8 AGA Lay) 在 平面 区 域 及 上 的 平均 值 是 LE), 即 在 重心 
的 值 . 换言之 ， 
|, evda- 502.9) (R 的 面积 ) 
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证 i L(z,y)=a+br + cy, B 


人 L(x, y)drdy = he +bz+cy)drdy = af dzdy + of adady + ef, ydzdy 
= (R WR) - (a + bz + cy). 


引 理 8.8 导致 第 5 章 的 中 点 法 则 的 推广 , 这 对 计算 (8.53) 和 (8.54) 的 元 素 的 
近似 值 很 有 意义 . 二 元 函数 的 Taylor 定理 告诉 我 们 : 


fo = 1009) + HD -D+ ,Dy -D+ ole- aw) 
=L(z,y) +O((z— 2)?, (y- 9’). 
因此 ， 
swaray=) Ls waray + | 0 (e - 2}, w- 0?) dray 
R R R 
= (RESHMA) - L(z, 9) + O(h?) =(R 的 面积 ) ‘f(z,9)+ O(h?), 
其 中 h 是 R WAB, 即 R 内 两 点 间 的 最 大 距离 , 这 里 我 们 用 到 了 引 理 8.8, 这 就 是 
二 维 中 点 法 则 . 
二 维 中 点 法 则 
|,e irav- R 的 面积 f(z.) +0104), (8.55) 
其 中 (2,0) RAF ER R 的 重心 , #E h= (R 的 直径 ). 


中 点 法 则 表明 , 为 使 用 有 O(n?) 阶 收敛 性 的 有 限 元 方法 , 我 们 只 要 通过 计算 三 
角形 重心 的 积分 来 得 到 (8.53) 和 (8.54) 中 的 积分 的 近似 值 . 对 于 B 样 条 函数 pi, 
这 也 是 特别 容易 的 . 下 面 两 个 引 理 的 证 明 见习 题 . 

引 理 8.9 设 p(Z,y) SWRA (21,11), (v2, y2), (za,ys) 的 三 角形 T 上 的 线性 
BK, 满足 p(T1,1) = 1, (T2, y2) = 0, p(z3, y3) = 0, 则 (2,7) = $- 

引 理 8.10 H pl(z,y) 和 ypa(z,g) AMAA (21,41), (v2, 42), (23,93) 的 三 角 
形 T 上 的 线性 函数 , 满足 pl(zl, Wi) = 1, pl(za,ya) = 0, p1(23, y3) = 0, p2(21, y1) = 
0, pa(w2, ya) =1 UR y2(zs,ys) = 0. & f(x,y) ATR BK. 设 


1 11 
2 22 33|- 


y 2 Ys 


d=det 


则 
(a) 三 角形 了 有 面积 A, 
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© Vaiten) = (254, 25%), 
— 24)? ~~)? 
(c) 人 Ver: Vpidrdy = feral el 
(a) Í, Ver - Vp2drdy = —(Z1 — 3)(z2 — a (vı — ys)(y2 — Ys) 


© |, Forvadedy = f(e, lal/18 + 00), 


© |, Fordzay = f(z, Dla/e +00), 
其 中 (FH 是 了 的 重心 , HAA=(T 的 直径 ). 

例 8.8 取 M=N=4 用 有 限 元 方法 , 近似 求解 在 [0,1 x [1,2] 上 的 Laplace 
方程 Au = 0, Dirichlet 边界 条 件 是 


u(z,1) = ln(z2 +1), u(x, 2) = ln(z2 +4), 
u(0,y)=2Iny, u(1,y) = In(y? + 1). 


HF m = n = 3, 所 以 要 确定 g = (m+ 2)(n+ 2) = 25 个 系数 , 其 中 16 个 
(c10,… ,cz5) 由 配置 得 到 , 本 例 中 化 为 分 别 计算 在 v10,… ,v2s 处 的 边界 条 件 . 对 
c1,… ,C9 建立 矩阵 方程 , 从 (8.53) 和 (8.54) 简化 得 到 


25 
aij 一 人 Vọ:Vpjdrdy, bi=— 总 人 VeiVepidzdy， 
1<i,j <9. 按照 引 理 8.10 的 计算 , 矩阵 A Al b 的 结果 是 在 (8.42) 中 对 应 地 加 一 
负 号 . 解 Ac = b 得 到 


cl3 = 1.139 0, c23 = 1.197 4, c33 = 1.287 8, 
cl2 = 0.837 6, c22 = 0.915 9, c32 = 1.034 1, 
cll = 0.484 7, c21 = 0.594 4, cal = 0.753 9 


这 与 习题 8.6 的 结果 一 致 . < 

下 面 给 出 矩形 区 域 上 带 有 Dirichlet 边界 条 件 (的 Laplace 方程 ) 的 有 限 元 解法 
的 MATLAB 执行 程序 . 引 理 8.10 提供 了 计算 (8.53) 和 (8.54) 中 各 项 所 需要 的 信息 . 

这 个 程序 的 前 一 半 建 立 了 后 一 半 需 要 的 钴 记 . 顶点 vi 的 坐标 如 图 8-14 中 所 定 
义 . 三 角形 /顶点 包含 矩阵 nc 是 2(m+1)(n+1) x 3 矩阵 , 它 的 第 i 行 提供 三 个 积分 
表示 第 i 个 三 角形 的 项 点 . 确定 包含 矩阵 后 , 从 Dirichet 边界 条 件 确定 cpt , ca. 
然后 循环 走 遍 所 有 的 三 角形 , 利用 包含 矩阵 以 及 引 理 8.10 把 每 一 种 贡献 加 到 (8.53) 
及 (8.54) 中 去 . 一 旦 形成 A 和 b, 通过 解 线性 方程 组 确定 余下 的 c1,… ,cp. 尽管 
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在 编码 中 使 用 MATLAB/ 运 算 , 但 是 对 实际 应 用 , 它 应 像 在 第 2 章 那样 , 用 稀疏 对 称 
解法 来 代替 . 


% Program 8.4 Finite element solver for elliptic equation 
% Input: rectangle domain [xl,xr]xlyb,yt], covered by MxN grid 
% Output: matrix w holding solution values on MxN grid 
function w=ellfem(xl,xr,yb,yt,M,N) 
-1;n=N-1; 
x1+ (xr-x1) * (02M) /M; %set mesh values 
y=yb+ (yt-yb) *(0:N) /N; 
a=zeros(m*n,m*n) ;b=zeros(m*n,1); % initialize str. matrix and load 
% Set (x,y) coordinates of vertices 
for i=l:m 
for jsi:n 
v(m*(j-1)+i,:)=[x(i+1) y(j+1)]; 
end 
end 
for i=l:m+2 
v(m*n+i,:)=[x(i) y(1)]; 
v((m+1) * (n+1)+i+1,:)=[x(m+3-i) y(n+2)]; 
end 
for j=1:n 
v(m*(n+1)+j+2,:)=[x(m+2) y(j+1)]; 
v((m+1)*(n+2)+j+2,:)=[x(1) y(n+2-j)); 
end 
% Define triangle/vertex inclusion matrix nc 
ne=zeros ( (m+2)* (n+2) ,3); 
for i=2:m % CORE 
for j=1:n-1 
nc(2*j* (m+1)+2*i-1,:)=[m*(j-1)+i-1 m*j+i-1 m*j+il; 
ne (2*j*(m+1)+2*i, :)=[m* (j-1)+i-1 m*(j-1)+i m*j+il; 
end 
end 
for i=2:m % BOTTOM 
ne(2*i-1,:)=[i-1 i m*n+i]; 
ne(2*i,:)=[i m*n+i m*n+i+1]; 
end 
for j=2:n % RIGHT 
ne (2*j*(m+1)-1,:)=((j-1)*m j*m m* (n+1)+j+2]; 
ne (2*j*(m+1),:)=((j-1)*m m*(n+1)+j+1 m* (n+1)+j+2]; 


end 
for i=2:m % TOP 
ne(2*n* (m+1)+2*i-1,:)={(n-1)*m+i-1 m*(n+2)+n+4-i m*(n+2)+... 
n+5-i]; 
ne (2*n* (m+1)+2*i,:)=[(n-1)*m+i-1 (n-1)*m+i m* (n+2)+n+4-i]; 
end 
for j=2:n % LEFT 


ne (2* (j-1) * (m+1) +1, :)=[(j-1) *m+1 m* (n+2)+2*n+5-j m*(n+2)+... 
2*n+6-j); 
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nc(2* (3-1)* (m+1)+2,:)=[(j-2)*m+1 (5-1) *m+1 m* (n+2)+2*n+6-j]; 
end 
% CORNERS 
ne(1,:)=[1 m*n+1 m*(n+2)+2*n+4]; 


ne(2,:)=[1 m*n+1 m*n+2]; 
ne(2*m+1 =(m m*(n+1)+1 m*(n+1) +3]; 
ne(2*m+2,:)=([m*(n+1)+1 m*(n+1)+2 m* (n+1)+3]; 
ne(2*n* (m+1)+1,:)=([m* (n+2)+n+3 m*(n+2)+n+4 m*(n+2)+n+5]; 
ne(2*n* (m+1) +2, (m* (n-1)+1 m*(n+2)+n+3 m*(n+2)+n+5]; 
ne (2*(n+1)*(m+1)-1,:)=[m*n m* (n+1)+n+3 m* (n+1)+ n+4]; 
ne (2* (n+1)*(m+1),:)=[m*n m*(n+1)+n+2 m* (n+1)+n+3]; 
for i=1:m+2 % use Dirichlet conditions 
c(m*n+i) =gbottom(v(m*n+i,1)); 
¢((m+1) * (n+1)+1+i) =gtop(v( (m+1) * (n+1)+1+i,1)); 
end 
for j=l:n 
Clm* (n+1) +2+j) =gright (v(m* (n+1)+2+j,2)); 
¢((m+1) * (n+2)+2+j5) =gleft (v( (m+1)* (n+2)+2+j,2)); 
end 
mn=m*n; 
% Cycle through triangles 
for t=1:2*(m+1)*(n+1) 
d=abs (det ({1 1 1l;v(ne(t,1),:)' v(ne(t,2),:)" v(ne(t,3),:)'))); 
bary=(v(ne(t,1),:)+v(ne(t,2),:)+v(ne(t,3),:))/3; 
for i=1:3 
j=mod(i,3)+1; 
k=mod (i+1,3) +1; 
if (ne(t,i)<=mn) 
a(ne(t,i),ne(t,i))=a(ne(t,i),ne(t,i))... 
+((v(ne(t,j),2)-vi(ne(t,k),2))*%2 ... 
+(v(ne(t,5),1)-vine(t,k),1))*2) /(2*d) -r (bary) *d/18; 
b(ne(t,i))=b(ne(t,i))-£ (bary) *d/6; 


if(nc(t,i)<=mn & nce(t,j)<=mn) 
a(ne(t,i),ne(t,j))=a(ne(t,i),ne(t,j))... 
-((v(ne(t,i),1)-v(ne(t,k),1))... 
*(v(ne(t,j),1)-v(ne(t,k),1))... 
+(v(ne(t,i),2)-v(ne(t,k),2))... 
*(v(ne(t,j),2)-v(ne(t,k),2)))/(2*a) -r (bary) *d/18; 
a(ne(t,3),ne(t,i))=a(ne(t,i),ne(t,j)); 
end 
if(nc(t,i)<=mn & nc(t,j)>mn) 
b(ne(t,i))=b(ne(t,i))+e(ne(t,j))... 
*((v(ne(t,i),1)-v(ne(t,k),1))... 
*(v(ne(t,j),1)-v(ne(t,k),1))... 
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+(v(ne(t,i),2)-v(ne(t,k),2))... 
*(v(ne(t,j),2)-v(ne(t,k),2))) /(2*d) +r (bary) *d/18; 
end 
if(nc(t,i)<=mn & nc(t,k)>mn) 
b(ne(t,i))=b(ne(t,i))+e(nc(t,k))... 

*((v(ne(t,i),1)-v(ne(t,j),1))... 
*(v(ne(t,k),1)-v(ne(t,j),1))... 
+(v(ne(t,i),2)-v(ne(t,j),2))... 
*(v(ne(t,k),2)-v(ne(t,j),2)))/(2*d) +r (bary) *d/18; 


wil (i+(j-1) *m) =log (x (i+1)*2+y (j+1)%2); 
w(i,j)=u(i+(j-1)*m); 
end 


end 

wl=[(gbottom(x(2:M))' w gtop(x(2:M))']; % plot 
wl=[gleft (y) ;wl;gright (y)]; 

mesh (x,y,w1') 


function u=f (x) 
u=0; 


function u=r(x) 
u=0; 


function u=gbottom(x) 
%Use dot notation 
u=log(x.^2+1); 


function u=gtop (x) 
u=log(x.^2+4); 


function u=gleft (y) 
u=2*log (y); 


function u=gright (y) 
u=log(y.^2+1); 


偏 微分 方程 用 于 模拟 工程 和 科学 中 的 时 间 和 空间 现象 . 模拟 不 可 压缩 流体 的 
Navier-Stokes 方程 用 于 研究 薄膜 涂 层 、 润 滑 、 动 脉 中 血液 的 原动力 以 及 到 天 体 气 体 
的 滑 流 等 主题 . 改进 有 限 差分 和 有 限 元 解法 仍然 是 计算 研究 领域 最 活跃 的 领域 . 
习题 8.3 

1. 证 明 u(z,y) = ln(z? + y?) 是 满足 例 8.6 中 Dirichlet 边界 条 件 的 Laplace 方程 的 解 . 
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2. 证 明 (a) u(z,y) = z2y 一 3 及 (b) u(z,y) = pat —27y? + iyt 是 调和 函数 . 
3. 证 明 函数 (a) u(z,y) = e™ sin xz, (b) u(z,y) = sinh xzsin xy 分 别 是 带 有 以 下 给 定 边 
界 条 件 的 Laplace 方程 的 解 : 


u(z,0) = sin rz， 0<z<1, u(z,0) =0, 0<zr<l, 
(a) u(z,1)=e"sinaz, O< <1, (b) u(z,1) =0, 0<zr<l, 
u(0,y) = 0， 0<y<l, u(0, y) = 0, O<y<l, 
u(1,y) =0, O<y<l u(1,y)=sinhasinay, O<y<1. 


4. 证 明 函 数 (a) u(z,y) = e77, (b) u(z,y) = (x? + 22) 分 别 是 带 有 以 下 给 定 边界 条 件 的 
Poisson 方程 的 解 


Au = ezy(z2 + y?), Au = 9/2? + y?, 
u(x,0) = 1, 0gzg1, u(z,0) = 2°, 0gzrgl, 
(a) 4 u(z,1) =e, O<z<i, (b)! uz,l)=(1+2), O<e<1, 
0<y<1, u(0, y) = p°, 0<y<1, 
u(l,y) =e, O<y<i; u(y) = (1+), O<y<L 


5. 证 明 函数 (a) u(x, y) = sin Sy, (b) u(x, y) = e7” 分 别 是 带 有 以 下 给 定 Dirichlet 边界 条 
件 的 椭圆 型 方程 的 解 : 


Aut È (2? +y?)u=0, Au = (2? +y?)u, 
u(x, 0) = 0, 0<z<1, u(z,0)=1, O<e<l, 
(a) { u(x, 1) =sin Za, O<z<1, (b){ u(z,1)=e%, 0<z<1, 
u(0,y) = 0, O<y<l, u(0,y) = 1, 0<y<1, 
u(1,y) = sin Fy, 0<y<l; u(l, y) =”, O<y<l. 
6. 证 明 顶 点 为 (zi,ya), (£2, y2), (es, ys) 的 三 角形 的 重心 是 = (zi +22 +23)/3,9 = (y1 + 
y2 + ys)/3. 
7. 证 明 引 理 8.9. 
8. 证 明 引 理 8.10. 
计算 机 问题 8.3 


1. 取 h=k==0.1, 在 0< zx< 1,0<y<1 上 ,用 有 限 差分 法 解 习题 3 中 的 Lapace 方程 
问题 . 用 MATLAB 的 mesh 指令 把 解 绘制 出 来 . 

2. 在 0<z<10<y<1 上 ,用 有 限 差分 法 解 习题 4 中 的 Poisson 方程 问题 取 
h=k= 0.1. 把 解 绘制 出 来 . 

3. W h= k =0.1, 用 有 限 差分 法 从 带 有 以 下 给 定 边界 条 件 的 Laplace 方程 中 , 求 出 在 正 
方形 0 < z,y < 1 上 的 静电 势 , 并 把 解 绘制 出 来 . 


u(z,0) =0, 0<zx< 和 el， u(z,0) = sin $a, 0 和 ZERT 
(a) u(z,1)=sinnz, O<2<1, ©) u(z,1)=cosf2, 0<z<l， 
u(0, y) =0, 0<y<1, u(0, y) = sin $y, O<y<l, 


u(1,y) =0, O<y<l, u(l,y)=cos§y, O<y<l. 
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11. 
12. 


13. 


. B h= k= 0.1, 用 有 限 差分 法 , 从 带 有 以 下 给 定 边界 条 件 的 Laplace 方程 中 , 求 出 在 正 


方形 0 < z,y < 1 上 的 静电 势 , 把 解 绘制 出 来 . 


u(z,0) =0, 0<z<kl u(z,0) = 0, 0<z<1， 
(a) u(z,1) = 2°, 0<zs 和 1 (b) u(z,1)=asingz, O0<2<1, 
u(0,y) =0, O<y<l, u(0, y) = 0, O<y<l, 
u(l,y) = O<y<l, uly) =y, O<y<l 


. 静水 压力 (hydrostatic pressure) 可 以 用 液压 压 头 来 表示 , 它 定义 为 相同 高 度 u 的 一 圆柱 


体 水 施加 的 压力 . 在 地 下 水 库 内 , 稳定 状态 的 地 面 水 流 满足 Laplace 方程 Av = 0. 假定 
水 库 的 尺寸 是 2km x lkm, 地 下 水 位 高 


u(z,0) = 0.01, 0<r<2, 
u(z, 1) =0.01+0.003z, 0<2<2, 
u(0, y) = 0.01, O0<y<l, 


u(1,y) = 0.01 + 0.006y?, O0<y<1 
在 水 库 的 边界 上 成 立 , 单位 是 千 米 . 计算 在 水 库 中 心 的 4 (1, 3) . 


. 在 一 个 受热 的 金属 铜板 上 的 稳 态 的 温度 u 满足 Poisson 方程 


D(z, 
Ave = Gav, 


这 里 D(z, y) 是 在 (z,y) 处 的 能 量 密度 , K 是 热传导 率 . 假定 板 的 形状 是 [0, jcmx [0, 2]Jcm 
的 矩形 , 它 的 边界 保持 在 常温 30°C, 而 且 以 常 速 D(z,y) = 5W/cm® 产生 能 量 . 铜 的 热 
传导 率 K = 3.85W/(cm-°C). (a) 绘 出 铜板 上 的 温度 分 布 . (b) 求 在 中 心 点 (z,y) = (2,1) 
处 的 温度 


， 当 步 长 A= k= 2-?(p = 2,… ,5) 时 , 对 习题 3 中 的 Laplace 方程 , 作 一 个 在 (z,y) = 


(4, F) 处 的 有 限 差分 近似 解 及 误差 (作为 步 长 h 二 = 27? 的 函数 ) 的 表 . 


， 当 步 长 h= k = 2-?(p = 2,… ,5) 时 , 对 习题 4 的 Poisson WH, 作 一 个 在 (z,y) = 


(i $) 处 的 有 限 差分 近似 解 及 误差 (作为 步 长 h = k = 27? 的 函数 ) 的 表 . 


. Rh=k=01, 在 0< z<1,0<y< 1 上 ,用 有 限 元 方法 解 习题 3 中 的 Laplace 方程 


问题 . 用 MATLABS 的 mesh 命令 绘 出 解 . 


. 取 h= 上 k=0.1, 在 0< xz<1,0<y<1 上 ,用 有 限 元 方法 解 习题 4 中 的 Poisson 方程 


问题 , 并 绘 出 解 . 
Mh=k=0.1, 用 有 限 元 方法 解 习题 5 中 的 椭圆 型 偏 微 分 方程 . 把 解 绘制 出 来 . 
Mh=k=0.1, 用 有 限 元 方法 解 带 有 Dirichlet 边界 条 件 的 椭圆 型 偏 微分 方程 . 绘 出 解 . 


Au +sin rzy = (7? + y?)u, Au + (sinazy)u = e2zy， 
u(z,0)=0, O<2<l, u(z,0)=0, O0<z<1, 
(a) u(z,1)=0, 0O<z<1, (b) ¢ u(z,1)=0, O<z<1, 
u(0,y)=0, 0<y<1, u(0,y)=0, O<y<1, 
u(l,y)=0, O<y<l, u(l,y)=0, O<y<l. 


当 步 长 h =k = 2-?(p = 2,… ,5) 时 , 对 习题 5 中 的 椭圆 型 方程 , 作 一 个 在 (z,2) = 
(3, 9) 处 的 有 限 元 方法 近似 解 和 误差 (作为 步 长 的 函数 ) 的 表 . 
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软件 和 进一步 阅读 

关于 偏 微分 方程 及 其 在 科学 与 工程 中 的 应 用 , 有 丰富 的 文献 资料 . 新 近 的 包含 应 用 观点 的 
教科 书 有 [9, 12, 7, 18, 8]. 许多 教科 书 如 [17, 11, 10, 14] 给 出 了 求解 偏 微分 方程 数值 方法 更 
多 的 内 容 , 比如 有 限 差分 和 有 限 元 方法 . [3, 1, 16] 主要 关注 有 限 元 方法 . 

MATLAB 中 偏 微分 方程 的 工具 箱 非常 值得 推荐 ， 它 已 成 为 偏 微分 方程 和 工程 数学 课程 中 
广 受 欢 迎 的 帮手 .Maple 有 一 个 类 似 的 软件 包 叫 PDEtools. 关于 数值 偏 微分 方程 , 无 论 是 一 般 
的 使 用 抑或 是 特殊 问题 的 求解 , 已 经 开发 展 出 了 一 些 独一无二 的 软件 包 . 求解 平面 中 一 般 区 域 
上 的 椭圆 型 偏 微分 方程 的 软件 包 ELLPACKD3 和 PLTMG”) 可 供 免费 使 用 . 它们 在 Netlib 
都 可 得 到 . 

有 限 元 方法 软件 包括 免费 软件 FEAST (Finite Element and Solution Tools, 有 限 元 和 解 
TA), Free FEM 和 PETSc (Portable Extensible Toolkit for Scientific Computing, 求解 科学 
计算 问题 的 便携 可 扩展 的 工具 箱 ), 以 及 商用 软件 FEMALAB, NASTRAN 和 DIFFPACK, 等 
等 .IMSL 程序 库 包含 求解 矩形 区 域 上 的 Poisson 方程 的 程序 DFPS2H, 及 三 维 空间 中 Poisson 
方程 的 DFPS3H. 这 些 方法 都 基于 有 限 差分 . 

NAG 程序 库 包 含有 有 限 差分 和 有 限 元 的 一 些 程序 . 程序 D03EAF 利用 一 个 积分 方程 方 
法 求解 二 维 的 Laplace 方程 ; D03EEF 利用 一 个 7 点 有 限 差分 公式 , 处 理 多 类 边 值 条 件 . 程序 
DO3PCF 与 D03PFF 分 别处 理 抛物 型 与 双 曲 型 方程 . 
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布朗 运动 是 描述 不 确定 性 行为 的 模型 , 由 Robert Brown 在 1827 年 提出 . 他 的 
最 初 目的 是 为 了 研究 水 面 上 花粉 微粒 和 附近 分 子 碰撞 的 不 规则 运动 . 而 该 模型 的 应 
用 已 经 远 远 超过 了 其 最 初 的 研究 背景. 

如 今 金融 分 析 师 们 用 同样 的 方法 研究 资产 的 定价 , 把 其 看 作 是 由 于 众多 投资 者 
不 一 致 的 投资 活动 所 导致 的 易 变 实体 . 1973 年 , Fischer Black 和 Myron Scholes 最 
先 利用 指数 布朗 运动 提供 股票 期 权 的 精确 定价 . 作为 一 项 重要 创新 , Black-Scholes 
公式 迅速 被 编 入 到 第 一 批 便 携 式 计算 器 , 并 用 于 华尔街 的 交易 大 厅 ， 该 项 成 果 在 
1997 年 被 授予 诺 贝尔 经 济 学 奖 , 并 已 经 深入 到 了 人 金融 理论 和 实践 . 

实例 检验 9.4.2 节 后 的 实例 检验 9 研究 了 蒙特 卡 罗 模 拟 和 这 个 著名 的 公式 . 


前 3 章 中 考虑 了 由 微分 方程 决定 的 确定 性 模型 . 给 定 适当 的 初 值 和 边界 条 件 ， 
从 数学 上 讲 其 解 是 确定 的 , 并 且 对 于 给 定 的 精度 , 可 以 由 合适 的 数值 方法 求解 . 另 
一 方面 , 一 个 随机 模型 又 包含 了 不 确定 性 , 因为 它 把 噪声 引入 了 其 定义 . 

随机 系统 的 计算 机 模拟 需要 通过 生成 随机 数 来 模拟 噪声 ， 本章 以 一 些 关 于 随 
机 数 的 基本 事实 以 及 它们 在 模拟 中 的 使 用 作为 开始 . 9.2 节 包 括 了 随机 数 的 一 个 重 
要 应 用 蒙特 卡 罗 模拟 . 9.3 节 介绍 了 随机 游 动 和 布朗 运动 . 9.4 节 涵盖 了 随机 微 积分 
学 的 基本 思想 , 以 及 许多 随机 微分 方程 (SDE) 的 标准 例子 , 这 些 例 子 在 物理 、 生 物 
和 人 金融 学 上 已 被 证 明 是 有 用 的 . SDE 解法 是 以 第 6 章 中 ODE 的 解法 为 基础 , 但 引 
入 了 噪声 部 分 . 

概率 论 的 一 些 基本 概念 会 在 本 章 中 用 到 . 这 些 基本 概念 , 例如 期 望 、 方差 和 随 
机 变量 的 独立 性 等 , 在 9.2 节 至 9.4 节 中 是 重要 的 . 


9.1 随 机 数 


人 们 对 随机 数 的 含义 都 有 一 个 直观 的 认识 , 但 是 要 给 它 下 一 个 精确 的 定义 却 非 
常 困难 . 要 找到 一 种 简单 有 效 的 方法 来 生成 随机 数 也 并 不 容易 . 即使 给 定 规则 , 计 
算 机 程序 也 无 法 生成 真正 的 随机 数 , 其 他 方法 同样 如 此 . 下 面 将 解决 如 何 生成 这 样 
的 伪 随 机 数 , 即 通过 简单 的 方法 , 用 确定 的 计算 机 程序 来 生成 数列 , 使 其 看 起 来 尽 
可 能 像 是 随机 的 . 

随机 数 生成 方法 的 目标 是 为 了 使 输出 的 数字 独立 同 分 布 .“ 独 立 ” 是 指 每 个 新 
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生成 的 数 on 不 依赖 于 前 一 个 数字 2,1, 事实 上 不 依赖 于 前 面 的 所 有 数字 ops, 
zn-2,…….“ 同 分 布 ”是 指 若 重复 生成 rn SK, 其 分 布 直方 图 跟 cn- 的 分 布 直方 
图 应 该 是 非常 相似 的 . 换 句 话说 , 独立 性 是 指 zn 独立 于 zn_1, tno 等 , 同 分 布 是 
FE zn 的 分 布 独立 于 n. 所 得 到 的 直方 图 或 者 分 布 可 能 是 0 到 1 之 间 实 数 的 均匀 分 
布 , 或 更 复杂 些 , 例如 可 能 是 正 态 分 布 . 

当然 , 随机 数 定义 中 的 独立 性 部 分 与 实际 中 基于 计算 机 生成 随机 数 的 方法 是 不 
一 致 的 , 后 者 生成 的 是 完全 可 预测 、 可 重复 的 数据 流 . 事实 上 , 对 某 些 模拟 来 说 , 可 
重复 性 是 非常 有 用 的 . 技巧 就 是 使 数字 看 起 来 相互 独立 , 尽管 生成 的 方法 一 点 也 不 
独立 . 伪 随 机 数 (pseudo-random) 就 是 为 这 样 的 情况 而 提出 的 一 在 独立 同 分 布 的 
意义 上 , 使 确定 的 生成 数 尽量 具有 随机 性 . 

想 要 利用 高 度 相关 的 办 法 来 生成 不 相关 的 随机 数 的 事实 , 也 解释 了 为 什么 不 存 
在 完美 的 、 基 于 软件 的 并 且 通 用 的 生成 随机 数 的 方法 . 正如 John Von Neumann 在 
1951 年 所 说 的 ,“ 用 算术 方法 生成 随机 数 的 人 , 从 某 种 程度 上 讲 就 是 一 种 过 失 .” 这 
里 希望 达到 的 目标 是 , 用 户 通过 使 用 随机 数 想 要 检验 的 特殊 假设 对 相关 性 和 生成 方 
法 不 敏感 . 

随机 数 是 从 确定 的 概率 分 布 选取 的 代表 . 对 于 分 布 的 选取 , 有 多 种 可 能 的 选择 . 
这 里 我 们 限制 在 两 种 概率 分 布 : 均匀 分 布 和 正 态 分 布 . 
9.1.1 ABELI 

最 简单 的 随机 数 的 集合 是 区 间 [0, 1] 上 的 均匀 分 布 . 这 些 数 字 就 好 像 是 放 在 一 
个 看 不 见 的 区 间 上 , 所 以 从 中 选取 每 个 数字 都 是 等 可 能 的 . 如 何 用 计算 机 程序 生成 
这 样 的 数列 呢 ? 

这 里 有 一 种 方法 来 生成 [0, 1] 上 的 均匀 ( 伪 ) 随机 数 ， 选 取 一 个 初始 的 整数 
zo £0, 称 为 种 子 (seed). 然后 通过 下 面 的 迭代 生成 数列 ui: 


{ Ti = 132;-1 (mod31), 


Zi (9.1) 
ui = T3’ 

即 用 13 RA z;_1, 然后 做 模 运算 , 把 它 除 以 31 取 余 得 到 下 一 个 随机 数 . 得 到 的 序 

列 在 30 个 非 零 的 数字 1/30,--- ,30/31 之 间 重 复 取 值 . 或 者 说 , 该 随机 数 生成 方法 

的 周期 (period) 是 30. 对 于 该 数列 , 没有 什么 看 起 来 比 其 更 具有 随机 性 . 一 旦 种 子 

选 定 , 那么 30 个 可 能 数字 的 循环 顺序 也 就 确定 了 . 最 早 的 随机 数 生成 方法 遵循 同 

样 的 逻辑 , 尽管 其 具有 更 大 的 周期 . 

以 zo = 3 作为 种 子 , 表 9-1 是 由 该 方法 生成 的 前 10 个 数字 . 
以 3*13 = 39 一 8(mod 31) 为 开始 , 产生 随机 数 8/31 ~ 0.258 1. 第 二 个 随机 数 
8*13 = 104 一 11(mod 31), 生成 11/31 ~ 0.354 8. 依次 下 去 , 数列 便 在 30 个 可 能 
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的 数 之 间 取 值 . 


该 例子 是 随机 数 生成 方法 的 一 个 最 基本 的 类 型 . 
定义 9.1 线性 同 余生 成 元 (linear congruential generator, LCG) 具有 形式 


Ti (9.2) 


c= 


Zi =azj_1 +b (modm) 
u 


其 中 a ARF (multiplier), b 是 偏 移 量 (offset), m 为 模 数 (modulus). 

在 前 面 的 生成 元 中 , a = 13, b = 0, m = 31. 在 下 面 两 个 例子 中 仍 保持 0 = 0. 
常见 的 做 法 是 把 一 个 不 大 的 非 零 数 b 加 到 随机 数 生成 序列 中 去 . 

随机 数 的 一 个 应 用 是 用 定义 域 中 的 随机 数 来 逼近 函数 的 平均 值 . 这 是 蒙特 卡 罗 
技术 最 简单 的 形式 , 9.2 节 会 更 详细 地 讨论 它 . 

例 9.1 在 (0, 1) 上 , 近似 计算 在 函数 y = z2 曲线 下 方 的 区 域 面积 . 

由 定义 , 一 个 函数 在 [a,b] 上 的 平均 值 为 

b 
saa | fee 

所 以 问题 中 的 所 求 面 积 就 是 y = r? 在 [0, 1) 上 的 平均 值 . 该 平均 值 可 以 由 区 间 上 
随机 点 处 的 函数 值 的 平均 值 来 逼近 , 如 图 9-1 所 示 . 对 于 前 10 个 均匀 随机 数 , 函数 
平均 值 


1 10 
To dS fl) 
i=1 


为 0. 350, 与 准确 值 1/3 差不多 . 在 该 结果 中 使 用 所 有 的 30 个 随机 数 的 平均 值 , 可 
得 到 改进 后 的 估计 为 0.328. < 
称 例 9.1 中 的 应 用 为 蒙特 卡 罗 类 型 1 问题 , 其 将 问题 简化 为 求 函数 的 平均 值 . 
注意 到 我 们 已 经 使 用 了 生成 元 (9.1) 可 以 提供 的 所 有 30 个 随机 数 , 所 以 要 提高 精 
BE, 就 需要 更 多 的 随机 数 . 可 以 继续 用 LCG 模型 , 但 乘 子 a 和 模 数 m 需要 增加 . 
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(a) (b) 
图 9-1 用 随机 数 对 函数 作 平 均 ，(a) 基本 生成 元 (9.1) 中 前 10 个 随机 
数 的 函数 平均 值 为 0.350, 其 中 种 子 为 zo = 3; (b) 采用 所 有 30 
个 数 , 得 到 更 准确 的 结果 为 0.328 


Pank 和 Miller’! 提出 了 一 个 线性 同 余生 成 元 , 通常 称 为 “最 小 标准 ”生成 元 ， 
因为 它 用 非常 少 的 代码 得 到 尽 可 能 好 的 结果 . 该 随机 数 生成 元 用 在 了 20 世纪 90 年 
代 的 MATLAB 版 本 4 中 . 

最 小 标准 随机 数 生成 元 
{ Ti = ax, +b (modm) 


Ti 
u= Wi 


(9.3) 


EP m = 25! — 1,a = 75 = 16 807,b = 0. 


如 果 一 个 素数 具有 2? 一 1 的 形式 , 其 中 p 是 整数 , 就 称 之 为 梅森 素数 (Mersenne 
prime)， 欧 拉 在 1772 年 发 现 了 梅森 素数 . 最 小 标准 随机 数 生成 元 的 重复 时 间 是 最 
大 数 231 — 2, 即 当 种 子 非 零 时 , 当 它 再 次 取 到 该 数 时 已 经 取 遍 了 最 大 数 以 下 的 所 有 
整数 . 这 大 约 有 2 x 10° 个 数字 , 对 20 世纪 来 说 可 能 已 经 足够 了 , 但 现在 一 般 是 不 
够 的 , 因为 计算 机 可 以 在 每 秒 执行 更 多 周期 . 

例 9.2 ” 求 满足 下 面 不 等 式 的 点 (z,y) 的 集合 的 面积 . 


4(2z — 1)* + 8(2y — 1)s < 1+ 2(2y — 1)3(3z— 2)?. 


我 们 称 之 为 蒙特 卡 罗 类 型 2 问题 . 没有 明确 的 方法 可 以 通过 求解 一 元 函数 值 
的 平均 值 来 求 该 区 域 的 面积 , 因为 不 能 解 出 y. 可 是 对 给 定 的 (z,y), 容易 判断 其 是 
否 属于 该 集合 . 可 以 通过 判断 给 定 的 随机 数 对 (z,y) = (ui, ui) 是 否 属于 该 集合 从 
而 以 一 定 的 概率 估计 目标 区 域 的 面积 . 

图 9-2 显示 用 最 小 标准 LCG 生成 的 10 000 个 随机 数 对 得 到 的 区 域 . 在 单位 区 
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RO < z,y < 1 中 满足 不 等 式 的 数 对 的 比例 , 如 图 所 示 , AA 0.547, 它 是 该 区 域 面 
积 的 一 个 近似 解 . 4 


图 9-2 求 面积 的 蒙特 卡 罗 方 法 .从 [0,1] x [0,1] 区 间 中 选取 的 10 000 
个 随机 数 对 , 画 出 的 点 满足 例 9.2 中 的 不 等 式 . 画 出 的 与 没有 画 
出 的 随机 数 对 的 比例 是 所 求 面积 的 近似 解 
尽管 我 们 对 两 种 类 型 的 蒙特 卡 罗 问 题 做 了 区 别 , 但 是 在 两 者 之 间 并 无 确定 的 界 
限 . 通常 它们 都 用 于 求 函数 的 平均 值 . 在 前 面 “ 类 型 1” 的 例子 中 这 是 很 明显 的 . 在 
“类 型 2" 的 例子 中 , 我 们 尝试 计算 所 求 集合 的 特征 函数 (characteristic function) 的 
平均 值 , 该 函数 在 所 求 集合 中 的 取 值 为 1, 集合 外 取 值 为 0. 这 里 主要 的 区 别 是 , 不 
像 例 9.1 中 的 函数 f(z) = 2, 特征 函数 是 不 连续 的 , 它 在 集合 边界 处 函数 值 有 跳 
KR. 我 们 也 可 以 很 容易 想象 类 型 1 和 类 型 2 的 结合 ( 见 计算 机 问题 9.1.8). 
一 个 非常 差 的 随机 数 生成 元 是 randu 生成 元 , 在 许多 早期 的 IBM 电脑 上 使 用 
并 移植 到 了 许多 其 他 电脑 上 ， 在 因特网 上 很 容易 搜索 到 该 生成 元 , 显然 它 还 在 使 
用 中 . 
randu 生成 元 
i fee Re t (9.4) 


z; =azi-ı (modm) 
cH pipat: 


$ m’ 
其 中 a= 65 539 = 216 +3, m = 25. 
随机 种 子 zo A0 是 任意 选取 的 . 非 素 数 模 的 选取 是 为 了 使 求 模 运 算 尽 可 能 快 ， 
乘 子 的 选取 主要 是 为 了 数 对 的 选取 简单 .该 生成 元 的 主要 问题 在 于 它 不 服从 随机 
数 的 独立 性 假定 . 注意 到 
a? — 6a = (216 十 3)2 一 6(216 十 3) = 28? + 6 x 216 +9 — 6 x 2'6 — 18 = 2° — 9, 
所 以 a? — 6a + 9 = 0 (modm), 因此 


Zit2 — Ori41 + 9x; = a°; — bazi +92; (modm)=0 (modm). 
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除 以 m 得 
Uit2 = 6uit1 —9u; (mod1). (9.5) 


问题 不 在 于 ui 可 以 由 前 面 生成 的 两 个 数字 决定 . 当然 它 甚至 可 由 前 一 个 数字 决 
定 , 因为 生成 元 是 确定 的 . 问题 在 于 关系 式 (9.5) 中 的 系数 较 小 , 它 导致 了 随机 数 之 
间 的 相关 性 变 得 显而易见 . 图 9-3a 给 出 了 由 randu 生成 元 的 10 000 个 随机 数 , 并 
以 三 元 组 (wi,wit1, vite) 的 形式 绘 出 . KRA (9.5) 的 一 个 结果 是 随机 数 的 所 有 三 
元 组 都 将 分 布 在 15 个 平面 中 的 一 个 上 , 如 图 所 示 . 事实 上 , 因为 w+a — 6uit1 十 9us 
必须 是 整数 , 仅 有 的 可 能 取 值 必须 在 -5 ( 当 uii 相对 大 , 而 ui, uit2 较 小 时 ) 和 +9 
(相反 情形 ) 之 间 . 平面 w+ - 6ui+l +9ui = k, 其 中 —5 < k < 9, 便 是 图 9-3 中 的 
15 个 平面 . 习题 9.1.5 要 求 分 析 另 一 个 著名 的 具有 类 似 缺 陷 的 随机 数 生成 元 . 


00 


(b) 


图 9-3 ”两 种 随机 数 生成 元 的 比较 : 图 (a) 和 (b) 分 别 描绘 出 了 randu Æ 
成 元 和 最 小 标准 生成 元 的 10 000 个 三 元 数组 (wi, wit1, ti+2) 


最 小 标准 LOG 不 存在 这 样 的 问题 , 至 少 不 存 在 严重 程度 与 此 相同 的 问题 . 因 
为 (9.3) 中 的 m 和 a 是 互 素 的 , 像 (9.5) 中 那样 带 有 小 系数 的 相 邻 w 的 关系 很 难 
确定 , 相 邻 的 3 个 随机 数 之 间 的 关系 也 就 更 复杂 . 图 9-3b 把 由 最 小 标准 生成 元 得 
到 的 10 000 个 随机 数 与 由 randu 生成 元 得 到 的 随机 数 进行 了 比较 . 

例 9.3 FA randu 生成 元 近似 求解 圆心 为 (1/3, 1/3, 1/2)、 半 径 为 0. 04 的 球 
的 体积 . 

尽管 该 球 的 体积 非 零 , 但 直接 用 randu 生成 元 得 到 的 结果 却 是 零 . RHE PIE 
近 是 在 三 维 单位 立方 体 中 生成 随机 点 , 并 记录 生成 的 点 落 入 球 中 的 比例 作为 近似 的 
体积 . 

点 (1/3, 1/3, 1/2) 在 平面 gr — 6y +z = 1 和 9z — 6y + z = 2 之 间 , 到 每 个 
平面 的 距离 为 1/ (2V118) ~ 0.046. 所 以 由 randu 生成 元 产生 的 三 维 点 (z,y,z) = 
(ui, uiti uit2) 不 能 落 入 给 定 的 球 里 ， 由 于 随机 数 生成 元 的 选取 , 该 问题 的 蒙特 卡 
罗 逼 近 非常 不 成 功 . 奇怪 的 是 在 20 世纪 六 七 十 年 代 期 间 , 当 这 种 生成 元 严重 依赖 
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于 计算 机 模拟 时 , 这 类 困难 竟然 大 多 没有 被 注意 到 . < 

在 MATLAB 现在 的 版 本 中 , 随机 数 不 再 由 LCG 产生. 从 MATLAB 5 开始 , 由 
G.Marsaglia 和 其 他 人 04 发 展 的 延迟 Fibonacci 生成 元 (lagged Fibonacci generator) 
用 在 了 rand 命令 中 . 其 用 到 了 0 到 1 之 间 所 有 可 能 的 浮 点 数 . MATLAB 声称 该 方 
法 的 周期 大 于 21400, 这 要 比 MATLAB 研发 以 来 所 有 的 程序 的 总 步 数 还 要 多 . 

到 现在 为 止 , 我 们 主要 研究 了 在 区 间 [0, 1] 上 生成 伪 随 机 数 的 问题 . 为 生成 一 
区 间 [a,b] 上 的 随机 数 的 均匀 分 布 , 只 需要 把 区 间 长 度 拉 伸 到 b- a, 即 新 区 间 的 
长 度 . 所 以 , 区 间 [0,1] 中 生成 的 每 一 个 随机 数 + 可 由 (5b 一 a)r 十 a RE. 

该 方法 可 独立 地 推广 到 任意 维 数 . 例如 , 要 生成 zy 平面 上 矩形 [1,3] x [2, 8] 中 
的 均匀 随机 数 , 可 以 先生 成 均匀 随机 数 对 ri, ro, 然后 用 (2r1 + 1,6r2 + 2) 表示 随 
机 点 . 


9.1.2 ”指数 随机 数 和 正 态 随机 数 


指数 随机 变量 V 通过 概率 分 布 函 数 p(z) = aeta > 0) 选取 正 数 . REZ, 
指数 随机 数 71,72，… ,rn 的 分 布 直方 图 当 n 一 oo 时 趋 于 p(z). 
9.1.1 节 中 均匀 随机 数 的 生成 元 , 容易 生成 指数 随机 数 . 累积 分 布 函数 为 


= 


P(x) = Prob(V < z) = Ee p(z)dz =1 一 e "=. 
o 


主要 思想 是 选取 指数 随机 变量 , 以 使 得 Prob(V < z) 是 0 到 1 之 间 的 均匀 分 布 , 即 
对 给 定 的 均匀 随机 数 u, 设 


u = Prob(V < 7)=1-e ®, 


对 z 求解 , 得 
= 0z, (9.6) 
因此 式 (9.6) 便 通过 均匀 随机 数 u 生成 了 指数 随机 数 . 

该 思想 是 普遍 成 立 的 . $ P(z) 为 需要 生成 的 随机 变量 的 累积 分 布 函 数 . 令 
Q(z) = P-1(z) 为 其 反 函数 . WR U[0, 1] 表示 [0,1] 中 的 均匀 随机 数 , W QUIO, 1]) 
便 生成 了 需要 的 随机 变量 . 剩余 要 做 的 就 是 找到 计算 Q 的 尽 可 能 有 效 的 方法 . 

标准 正 态 分 布 或 高 斯 分 布 的 随机 变量 可 通过 概率 分 布 函数 

ieee 
p(z) = Van a 


( 即 著名 的 钟 形 曲线 ) 来 选取 实数 . 服从 分 布 N(0,1) 的 随机 变量 的 期 望 为 0, 方差 
为 1. 更 一 般 地 , 服从 分 布 N(pc2?) = p+oN(0,1) 的 正 态 随 机 变量 的 期 望 为 u, 方 
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差 为 o?. 该 随机 变量 只 是 将 标准 正 态 分 布 N(0,1) 的 随机 变量 进行 了 平移 和 缩放 ， 
在 后 面部 分 我 们 将 研究 其 生成 方法 . 

尽管 可 以 像 前 面 简 述 的 那样 直接 应 用 累积 分 布 函数 的 反 函 数 , 但 是 同时 生 
成 两 个 正 态 随机 数 却 更 有 效 ， 二 维 标准 正 态 分 布 的 概率 分 布 函数 为 p(z,y) = 
(1/2m)e~@*+97)/2, 或 为 极 坐标 下 的 plr) = (1/2rje-”/2. 因为 plr) 具有 极 坐标 对 
称 性 , 所 以 只 需要 根据 p(r) 生成 径 向 距离 r, 然后 在 [0,27] 之 间 任 选 一 个 角度 9 即 
可 . 由 于 p(r) 对 r? 服从 参数 为 a= 1/2 的 指数 分 布 , 于 是 可 由 (9.6) 式 并 通过 

2 _ —In(l-—u) 
1/2 

ER r, 其 中 wi 是 均匀 随机 数 . 于 是 


nı 一 了 cos 2ru2 = V 一 2ln(1 — u1) cos 2rru2， 
ng = r sin 2rru2 = \/—2In(1 — u1) sin 2xu2. 


为 独立 正 态 随机 数 对 , 其 中 va 为 第 二 个 均匀 随机 数 . 注意 到 在 公式 中 1 -wa 可 由 
u 代替 , 因为 分 布 V[0, 1] 被 1 减 后 不 变 . 这 就 是 生成 正 态 随机 数 的 Box-Muller 
方法 四 这 里 需要 用 到 平方 根 、 对 数 、 正 弦 和 余弦 运算 . 

当 wa 用 另 一 种 不 同 的 方法 生成 时 , 可 以 得 到 一 个 更 有 效 的 Box-Muller 方法 . 
从 U[O, 1) 中 选取 z1, za, 当 表达 式 的 值 小 于 1 时 定义 wi = 1} +09, 反之 将 z1, zz Bl 
除 , 重新 开始 . 可 以 看 到 该 方法 选取 的 ui 服从 分 布 UV[0, 1]. 该 方法 的 优点 在 于 , 可 
以 使 用 wz = arctan 2, 即 从 原点 到 点 (21,22) 的 线段 的 角度 ,显然 这 是 因为 uz 在 
[0, 2m] 上 是 均匀 分 布 . 因为 cos 2rua = 2, sin 2rua = 22, 所 以 公式 (9.7) 可 转换 为 


a ET 本 -a j=, (0.8) 


Ul Ul 


(9.7) 


其 中 u = r? + 2}, 这 里 不 需要 像 (9.7) 中 的 正弦 和 余弦 计算 . 

修正 的 Box-Muller 方法 是 一 个 拒绝 方法 (rejection method), 因为 有 些 输入 值 
并 没有 用 到 . 把 单位 圆 和 单位 矩形 [-1, 1] x [-1, 1] 作 比 较 可 知 , 进行 拒绝 运算 要 多 
花 (4—m)/4 ~ 21% 的 时 间 . 为 避免 正弦 和 余弦 计算 , 这 是 一 个 可 接受 的 代价 . 

还 有 许多 复杂 精巧 的 方法 用 于 生成 正 态 随机 数 . 更 多 的 细节 可 参看 [12]. 例如 
MATLAB 中 的 randn 命令 , 使 用 了 Marsaglia 和 Tsangl1 引 的 “ziggurat” 方法 , 本 质 
上 它 是 一 种 有 效 的 反 转 累积 分 布 函数 的 方法 . 


习题 9.1 


1. 求 由 下 面条 件 定义 的 线性 同 余生 成 元 的 周期 : 
(a) a=2,b=0,m=5; (b) a =4,b=1,m =9. 
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» 求 由 = 40= 0,mm=9 定义 的 LCG 的 周期 . 该 周期 是 否 跟 种 子 有 关 ? 
.用 下 面 的 LOG 近似 求解 曲线 y = z?(0 < z < 1) 下 方 的 面积 : 


(a) a=2,b=0,m=5; (b)a=4,b=1,m=9. 


。 由 下 面 的 LCG 生成 元 近似 求解 曲线 y = 1 一 z(0 < z <1) 下 方 的 面积 : 


(a) a=2,b=0,m=5; (b)a=4,b=1,m=9. 


. 考虑 随机 数 生成 元 RANDNUM-CRAY, 它 曾 用 在 第 一 代 超级 计算 机 Cray X-MP 上 . 该 


LOG $ m = 2,0 = 2% +3,b=0. 证 明 w+l = 6uu+l 一 9ui(mod 1). 该 生成 元 存在 缺 
陷 吗 ? 参看 计算 机 问题 9 和 计算 机 问题 10. 


计算 机 问题 9.1 


1. 


2. 


3. 


通过 执行 最 小 标准 随机 数 生成 元 , RA 9.3 中 体积 的 蒙特 卡 罗 近 似 解 ， 令 种 子 为 z0=1， 
使 用 10° 个 三 维 点 . 该 近似 解 与 准确 解 相差 多 少 ? 

像 问题 1 那样 通过 执行 randu, 求 例 9.3 中 体积 的 蒙特 卡 罗 近似 解 . 证 明 任 意 点 (wi, wisi, 
ui+2) 都 不 会 落 在 给 定 的 球 中 . 

(a) 使 用 微 积分 方法 , 求 由 抛物 线 Pi(z) = 2? 一 z 十 1/2 和 P2(x) = -z2 +z + 1/2 围 成 
的 面积 , (b) 通过 在 区 间 [0,1] ER P(x) — Pi(z) 的 平均 值 , 以 蒙特 卡 罗 类 型 1 问题 来 
求 近似 面积 . (c) 与 (b) 类 似 , 但 以 蒙特 卡 罗 类 型 2 问题 进行 估计 : 求 在 矩形 [0, 1] x [0, 1) 
中 落 入 抛物 线 之 间 的 点 的 比例 .比较 两 种 蒙特 卡 罗 方法 的 效率 . 


对 由 多 项 式 Pi(z) = z? 和 P(x) = 2z — r? 落 入 第 一 象限 部 分 的 交集 , 像 计算 机 问题 3 


那样 重新 求解 一 次 . 


» 用 n = 10 个 伪 随 机 点 来 估计 下 面 椭圆 围 成 的 面积 : (a) 13z? + 34zy + 25y? < 1, 其 中 


-1 < zy < 1 (b) 402? + 25y? + y+ 9/4 < 52zy + 147, 其 中 0<z,y< 1. 把 估计 值 与 
准确 值 (a) x/6 和 (b) 2/18 作 比 较 , 并 求 出 误差 . 用 n = 10° 重新 求解 一 次 并 比较 结果 . 


.用 n = 10* 个 伪 随 机 点 来 估计 由 椭 球 2 + 4z? + 4z2 +y? < 4z + 4z ty 围 成 的 体积 , 其 


中 0 < z,y,z < 1. 与 准确 值 x/24 作 比较 并 求 出 误差 . 用 n= 105 重 做 一 次 . 


JE 
. (a) 求 积分 | ile zydzdy. (b) 用 落 入 单位 正方 形 [0,1] x [0,1] 中 的 n = 10° 个 数 对 , 以 


1 
o Jai 

蒙特 卡 罗 类 型 1 问题 来 估算 该 积分 . (定义 一 个 函数 , 当 (z,y) 落 入 积分 区 域内 时 其 值 为 

cy, 落 入 其 他 部 分 时 值 为 0, 并 对 该 函数 求 平均 值 .) 


.在 单位 矩形 中 用 n= 10° 个 随机 数 对 估算 Í. zydzdy, 其 中 区 域 4 是 由 例 9.2 给 定 的 区 域 . 


执行 习题 5 中 的 不 可 靠 的 随机 数 生成 元 , 并 画 出 类 似 图 9.3 的 图 像 . 
10. 


用 例 9.3 中 的 思想 , 构造 一 个 蒙特 卡 罗 台 近 问 题 , 使 习题 5 中 的 RANDNUM-CRAY 生 
成 元 完全 无 效 . 


9.2 ”蒙特 卡 罗 模 拟 
前 面 已 经 介绍 了 蒙特 卡 罗 模拟 的 两 种 类 型 的 例子 ， 本 节 将 研究 该 技术 的 适用 


范围 及 改进 , 包括 拟 随机 数 . 本 节 将 用 到 随机 变量 和 期 望 的 概念 . 
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9.2.1 REP AT HRER 

我 们 希望 了 解 蒙特 卡 罗 模拟 的 收敛 速度 . 当选 取 的 点 n 变化 时 , 估计 误差 变化 
的 速度 如 何 ? 这 类 似 于 第 5 章 中 求 积 方法 的 收敛 性 问题 , 以 及 第 6~8 章 中 微分 方 
程 解法 的 收敛 性 问题 . 在 前 面 的 情形 中 , 提出 了 关于 误差 和 步 长 的 问题 . 在 蒙特 卡 
罗 模 拟 中 , 减少 步 长 相当 于 增加 随机 数 . 

考虑 蒙特 卡 罗 类 型 1, 用 随机 样本 计算 函数 平均 值 后 乘 以 积分 区 域 的 体积 得 到 
计算 结果 . 计算 一 个 函数 的 平均 值 可 以 看 作 是 计算 由 其 决定 的 概率 分 布 的 平均 值 . 
用 记号 E(X) 表示 随机 变量 X 的 期 望 . 随机 变量 X 的 方差 为 E[(X — E(X))?), 标 
4EZ (standard deviation) 是 方差 的 平方 根 . 随 着 随机 点 个 数 n 的 变化 , 估计 值 的 误 
差 以 下 面 方式 变化 : 
伪 随 机 数 的 蒙特 卡 罗 问 题 类 型 1 或 类 型 2 


BE ant (9.9) 


要 理解 该 式 , 可 以 将 积分 看 作 定义 域 的 面积 与 函数 在 该 定义 域 上 的 平均 值 的 
FR. 考虑 在 一 个 随机 点 处 的 独立 同 分 布 变量 X;, 其 平均 值 就 是 随机 变量 Y = 
(Xi 十 … 十 Xn)/n 的 期 望 , 即 

Xi 十 十 Xn 
eae 


Y 的 方差 为 
MX 十 … 十 Xn 2 1 1 o? 
e[( a -A)| -4 E -aP = ret = n 


其 中 o 是 每 个 X; 的 标准 差 . 所 以 Y 的 标准 差 碱 小 为 o/ Vn. 该 讨论 同时 适用 于 蒙 
特 卡 罗 模 拟 的 类 型 1 和 类 型 2. 


亮点 ”收敛 性 

蒙特 卡 罗 类 型 1 估计 与 第 5 章 中 的 复合 中 点 方法 非常 相似 . 在 那里 
误差 与 步 长 h 成 比例 , 约 为 1/n,n 函数 运算 次 数 . 这 要 比 蒙 特 卡 罗 的 平 
RE EE AR. 

但 是 , 蒙特 卡 罗 方法 可 以 求解 像 例 9.2 那样 的 问题 . 尽管 收敛 速度 仍 
很 慢 , 但 是 还 不 太 清 楚 如 何 建立 像 类 型 1 那样 的 问题 从 而 应 用 第 5 章 的 
技术 . 


例 9.4 ”对 曲线 y =z?,z € [0,1], 求 其 下 方 的 面积 , 使 用 伪 随机 数 求 蒙特 卡 罗 
类 型 1 和 类 型 2 估计 . 
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这 是 例 9.1 蒙特 卡 罗 类 型 1 问题 的 推广 , 那里 考虑 了 当 误差 作为 随机 数 个 数 m 
的 函数 的 情况 . 对 于 每 次 试验 , 生成 [0,1] 中 的 n 个 均匀 的 随机 数 zx, 并 求 出 y = 2? 
的 平均 值 . 那里 的 误差 是 平均 值 和 准确 值 1/3 之 间 的 绝对 误差 . 对 每 个 n 做 500 次 
试验 并 对 误差 求 平均 , 图 9-4 中 下 面 的 曲线 描绘 出 了 结果 . 
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5 
10° 10 10 10° 


图 9-4 蒙特 卡 罗 估 计 的 平均 误差 . 例 9.4 中 使 用 伪 随 机 数 的 蒙特 卡 罗 
问题 的 类 型 1 (下 面 曲 线 ) 和 类 型 2( 上 面 曲 线 ) 的 估计 误差 . 两 
种 类 型 的 备 定 律 的 指数 都 是 -1/2 


对 蒙特 卡 罗 类 型 2 问题 , 在 单位 正方 形 [0, 1) x [0, 1] 中 生成 均匀 随机 点 (z,y) 
并 记录 满足 性 质 y < z? 的 点 的 比例 . 同样 , 对 500 次 试验 的 误差 取 平均 , 图 9-4 上 
面 的 曲线 描绘 出 了 结果 . 尽管 类 型 2 的 误差 要 稍 大 于 类 型 1 的 误差 , 但 是 两 者 都 满 
足 平方 根 赛 定 律 (9.9). 4 

对 蒙特 卡 罗 类 型 2 问题 来 说 , 样本 的 随机 性 是 必需 的 吗 ? 为 什么 不 用 样本 的 矩 
形式 网 络 取代 随机 数 来 解决 像 例 9.2 中 的 问题 呢 ? 当然 , 对 一 个 任意 的 样本 数 n 是 
不 可 行 的 , 除非 可 以 找到 一 种 看 起 来 随机 的 方法 将 它们 排序 以 避免 估计 中 的 巨大 误 
差 . 确实 存在 一 个 中 间 选 择 , 可 以 保持 矩形 式 网 格 的 优点 , 但 需要 将 数字 重新 排序 
使 之 看 起 来 像 是 随机 的 . 这 是 9.2.2 节 的 主题 . 


9.2.2” 拟 随机 数 


拟 随机 数 (quasi-random number) 的 思想 是 当 独立 性 对 要 解决 的 问题 没有 本 质 
性 的 影响 时 , 牺牲 随 机 数 的 独立 性 牺牲 独立 性 意味 着 拟 随 机 数 不 但 不 随机 , 而 且 
也 不 需要 像 伪 随机 数 那样 看 起 来 独立 .这样 做 的 目的 是 为 了 在 蒙特 卡 罗 问题 中 加 
快 收敛 速度 . 设计 拟 随机 数 序列 时 需要 使 之 具备 “ 自 避 免 ”(selfavoiding) 的 性 质 而 
非 独立 性 . 即 生成 的 数列 应 有 效 地 填充 前 面 数 所 留 出 的 空 阶 , 避免 与 前 面 已 生成 的 
REE. 与 伪 随 机 数 的 比较 见 图 9-5. 
生成 拟 随 机 数 的 方法 有 很 多 ， 可 能 最 流行 的 方法 要 追溯 到 1935 年 Van der 
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Corput 提出 的 一 种 称 为 基 p 的 低 歧义 数列 (base-p low-discrepancy sequence). 下 
面 给 出 了 基于 Halton!) 的 实施 . + p 为 素数 , 例如 p = 2. 将 前 ”个 整数 写 入 基 p 
中 . 假设 第 i 个 整数 具有 形式 bb_1…b2b1, 则 记 第 i 个 随机 数 为 0.61b2… bk-1bk， 
并 再 次 写 入 基 p. RAZ, 将 第 i 个 整数 写 入 基 p, 然后 将 其 表达 式 数 字 反 转 并 写 在 
小 数 点 右边 , 得 到 [0,1] 中 第 i 个 均匀 随机 数 . 当 p= 2 时 表 9-2 给 出 了 前 8 个 随 
机 数 . 


Retin 
40.5 060.7 0.80.9 4 
(a) (b) 
图 9-5 伪 随 机 数 与 拟 随机 数 的 比较 . (a) 由 MATLAB 的 rand 命令 生成 
的 2 000 对 伪 随 机 数 ，(b) 由 Halton 低 歧义 数列 生成 的 2 000 
对 拟 随机 数 , z 坐标 基 为 2, y 坐标 基 为 3 


000.10.20.30. 


R 9-2 
i (i)2 (wi)2 ui 
1 1 0.1 0.5 
2 10 0.01 0.25 
3 11 0.11 0.75 
4 100 0.001 0.125 
5 101 0.101 0.625 
6 110 0.011 0.375 
7 111 0.111 0.875 
8 1 000 0.000 1 0.062 5 

4 p= 3 时 得 到 以 下 Hanlton 数 , 见 表 9-3. 

表 9-3 
i @)s (wi)s us 
1 1 0.1 0.3 
2 2 0.2 06 
3 10 0.01 oi 
4 11 0.11 04 
5 12 0.21 07 
6 20 0.02 0.2 
7 21 0.12 0.5 
8 22 0.22 0.8 


9.2 蒙特 卡 罗 模拟 409 


下 面 给 出 了 Halton 数列 的 MATLAB 代码 . 它 是 最 初 的 低层 义 思 想 的 简单 而 直 
观 的 版 本 . 要 想 更 有 效 , 可 以 把 它 写成 机 器 代码 . 


% Program 9.1 Quasi-random number generator 
Halton sequence in base p 
Input: prime number p, random numbers required n 
Output: array u of quasi-random numbers in [0,1] 
% Example usage: halton(2,100) 
function u=halton(p,n) 
b=zeros (ceil (log(n)/log(p)),1); % largest number of digits 
for j=1:n 
isl; 
b(1)=b(1) +1; % add one to current integer 
while b(i)>p-l+eps % this loop does carrying 
b(i)=0; % in base p 


a oP o 


isi+l; 
b(i)=b(i) +1; 

end 

u(j)=0; 

for k=1:length(b(:)) % add up reversed digits 
u(j)=u(j) +b(k) *p*(-k); 

end 

end 


对 任意 素数 , 都 可 由 Halton 数列 得 到 一 个 拟 随机 数 集合 . 要 得 到 一 个 d 维 向 
量 的 序列 , 可 以 对 不 同 的 坐标 使 用 不 同 的 素数 . 要 记 住 拟 随机 数 不 是 独立 的 , 它们 
的 优点 在 于 它们 的 自 避免 性 质 . 下 面 将 看 到 , 对 于 蒙特 卡 罗 问 题 , 拟 随机 数 要 比 伪 
随机 数 更 有 效 . 

用 拟 随机 数 的 原因 是 , 对 于 蒙特 卡 罗 模拟 , 拟 随 机 数 可 以 得 到 更 快 的 收敛 速度 . 
这 意味 着 , 误差 作为 函数 运算 次 数 n 的 函数 , 其 关于 n 减 小 速率 要 快 于 伪 随 机 数 . 
下 面 的 公式 可 以 与 伪 随 机 数 的 对 应 式 (9.9) 作 比 较 (d 表示 随机 数 的 生成 维 数 ). 


拟 随机 数 的 蒙特 卡 罗 问题 类 型 1 
误差 x (Inn)sn-! (9.10) 

拟 随机 数 的 蒙特 卡 罗 问题 类 型 2 
误差 «nth (9.11) 
误差 主要 受 不 连续 部 分 影响 . 不 加 证 明 , 下 面 对 前 面 碰 到 的 类 型 2 的 例子 加 以 
说 明 , 其 中 函数 为 具有 (a 一 1) 维 边界 的 d 维 空间 中 的 子 集 的 特征 函数 . 在 该 例子 


H, 沿 着 集合 边界 的 不 连续 点 的 数目 与 (ne)4-: 成 比例 . 这 与 边界 是 (4 - 1) 维 的 
条 件 一 致 , 在 每 个 d 维 约 有 n/d 个 格 点 . 这 些 点 随机 的 取 值 为 0 或 1, 这 取决 于 该 
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点 在 边界 的 哪 一 边 . 因为 在 其 他 点 处 的 误差 很 小 , 关于 函数 运算 的 方差 平均 为 


标准 差 是 其 平方 根 n- 支 . 对 伪 随 机 数 的 蒙特 卡 罗 问 题 进 行 同样 的 讨论 , 对 nn 个 点 
进行 平均 时 , 标准 差 以 比率 Vai 减少 , 这 样 拟 蒙特 卡 罗 方 法 的 标准 差 为 
n-W(2d) 
mw 
例 9.5 ”用 拟 随机 数 , 对 [0,1] 中 曲线 y = z? 下 方 的 面积 进行 蒙特 卡 罗 估计 . 
这 是 蒙特 卡 罗 类 型 1 问题 , 其 中 z 坐标 可 在 [0,1] 中 生成 , 并 求 出 函数 f(z) = 2? 
的 平均 值 来 近似 求解 面积 . 用 p=2 的 Halton 数列 来 生成 105 个 拟 随机 数 . 这 个 结 
FR, 以 及 与 使 用 伪 随 机 数 的 同样 策略 结果 的 比较 见 图 9-6. 正如 前 面 所 说 的 , 拟 随机 
数 明显 更 有 效 . < 


=n-i-W, 


AM n 
图 9-6 ”蒙特 卡 罗 类 型 1 估计 的 平均 误差 . 例 9.1 中 积分 的 估计 . 圆 点 表示 
使 用 伪 随 机 数 得 到 的 误差 , 方块 表示 用 拟 随 机 数 得 到 的 误差 . 注意 
到 寡 定 律 分 别 依赖 于 伪 随 机 数 和 拟 随机 数 的 赛 指数 -1/2 和 -1 


例 9.6 XHA 9.2 中 的 面积 , 用 拟 随机 数 求 其 蒙特 卡 罗 逼 近 . 

对 于 不 同 的 n, 单位 方块 中 的 拟 随机 样本 由 Halton 数列 生成 . 对 于 多 维 的 情 
Bi, 对 每 一 坐标 使 用 不 同 素数 p 的 Halton 数列 是 方便 的 . 所 求 区 域 是 具有 一 维 边 
界 的 二 维 空间 中 的 一 个 子 集 , 因此 4 = 2. 确定 了 满足 例 9.2 给 定 条 件 的 比例 , 并 计 
算 了 误差 . 图 9-7a 描绘 了 50 次 试验 的 平均 误差 . 二 维 蒙特 卡 罗 类 型 2 MRE 
律 的 指数 为 -1/2 - 1/(2d) = —1/2 — 1/4 = -3/4, 即 下 面 曲线 的 近似 斜率 . 对 伪 随 
机 数 做 同样 的 计算 , 二 者 的 比较 如 图 所 示 . < 

例 9.7 “用 拟 随机 数 的 蒙特 卡 罗 估计 , 近似 求解 R3 中 的 半径 为 1 的 三 维 球 的 
体积 . 
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类 似 于 例 9.6 那样 求解 . 因为 该 类 型 2 问题 的 维 数 为 3, PAREREA 


一 1/2 一 1/6 = —2/3, 近似 等 于 图 9-7b 中 下 面 的 曲线 的 斜率 . 4 


点 数 n 
(a) (b) 

图 9-7 蒙特 卡 罗 类 型 2 估计 的 平均 误差 . 圆 点 表示 用 伪 随 机 数 得 到 的 
误差 , 方块 表示 用 拟 随 机 数 得 到 的 误差 . (a) 例 9.2 中 面积 的 估 
计 , 属于 二 维 的 蒙特 卡 罗 类 型 2 问题 . 对 伪 随 机 数 和 拟 随机 数 ， 
误差 分 别 服从 指数 为 -1/2 和 一 3/4 HREH. (b) 直径 为 1 的 
三 维 球 的 体积 的 估计 , 属于 三 维 蒙特 卡 罗 类 型 2 问题 . 误差 分 别 

服从 指数 为 -1/2 和 一 3/2 HEER 


计算 机 问题 9.2 


1. 


aayy 


利用 由 Halton 数列 生成 的 n = 10* 个 拟 随机 数 , 对 计算 机 问题 9.13 HITRE PW, 
其 中 k 分 别 为 2, 3, 4, 5. 对 于 小 题 (c), 对 z 坐标 和 y 坐标 分 别 使 用 命令 halton(2,n) 
和 halton(3,n). 


， 用 拟 随机 数 对 计算 机 问题 9.1.4 EAT RRS SE. 

.分 别 用 n = 10* 和 = 10° 个 拟 随机 数 , 对 计算 机 问题 9.1.5 BETTER aL. 

. DAR n= 10* Al n = 105 个 拟 随机 数 , 对 计算 机 问题 9.1.6 MEAT aR SEE. 

.对 半径 为 1 的 四 维 球 的 体积 , 用 n= 10° 个 点 分 别 求 其 蒙特 卡 罗 逼 近 和 拟 蒙特 卡 罗 逼 近 . 


并 与 精确 体积 xx? /2 进行 比较 . 


一 个 最 有 名 的 蒙特 卡 罗 问 题 就 是 Buffon 针 问题 . 如 果 一 个 针 掉 到 一 个 有 黑白 条 纹 的 平面 


E, 条 纹 的 宽度 与 针 的 长 度 相同 ， 则 该 针 跨 两 种 颜色 的 条 纹 的 概率 为 2/x，(a) 从 分 析 上 
证 明 这 个 结果 . 考虑 针 的 中 点 到 最 近 的 条 纹 边缘 的 距离 d 和 其 与 条 纹 所 成 的 角度 9. 把 
概率 表示 为 一 个 简单 的 积分 . (b) 设计 一 个 蒙特 卡 罗 类 型 2 模拟 来 近似 求解 该 概率 , 使 用 
n = 10° 个 伪 随机 数 对 (d, 8). 


+ (a) 元 素 在 区 间 [0,1] 上 取 值 的 2 x 2 矩阵 中 , 正定 矩阵 占 的 比例 是 多 少 ? 求 出 精确 值 , 并 


FAS RP GL. (b) 元 素 在 区 间 [0,1] 上 取 值 的 2 x 2 对 称 矩 阵 中 , 正定 矩阵 占 的 比 
例 是 多 少 ? 求 出 精确 解 , 并 用 蒙特 卡 罗 模拟 逼近 . 


。 对 元 素 在 区 间 [-1,1] 上 取 值 的 2 x 2 ERE, 特征 值 都 为 实数 的 矩阵 所 占 的 比例 是 多 少 ， 


用 蒙特 卡 罗 模 拟 近 似 求解 . 
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o 


,元 素 在 区 间 [0,1] 上 取 值 的 4 x 4 矩阵 中 , 采用 部 分 选 主 元 法 没有 行 交 换 的 矩阵 比例 有 多 
D? 用 蒙特 卡 罗 模 拟 以 及 MATLAB 的 lu 命令 来 估算 该 概率 . 


9.3 ”离散 布朗 运动 和 连续 布朗 运动 


尽管 本 书 前 面 的 章节 主要 研究 了 对 确定 性 模型 很 重要 的 一 些 原理 , 但 这 些 模型 
只 是 现代 技术 中 的 一 部 分 . 随机 数 最 重要 的 应 用 之 一 就 是 使 得 随机 建 模 成 为 可 能 . 

下 面 首先 阐述 最 简单 的 随机 模型 之 一 : 随机 游 动 (也 称 为 离散 布朗 运动 ). 离散 
随机 模型 的 基本 原理 与 后 面 更 复杂 的 连续 布朗 运动 的 基本 原理 是 一 样 的 . 
9.3.1 ”随机 游 动 

随机 游 动 (random walk) W, 定义 在 实 轴 上 , 从 Wo = 0 开始 , 在 每 个 整数 时 间 
i 移动 步 长 s, 其 中 si 是 独立 同 分 布 的 随机 变量 . 这 里 假设 s; 以 等 概率 取 +1 和 
一 1. 离散 布朗 运动 定义 为 由 下 面 累积 步 序 列 确定 的 随机 游 动 : 

Wi = Wo +81 + 82 ++ St, t=0,1,2,--- 


图 9-8 给 出 了 离散 布朗 运动 的 单个 实现 . 


图 9-8 ”随机 游 动 的 单个 实现 . 在 第 12 步 时 达到 了 (EH) 区 间 [-3, 6] 
的 边界 ， 随 机 游 动 超出 该 区 间 的 最 高 点 需要 的 平均 次 数 是 总 次 
数 的 1/3 


下 面 的 MATLAB 代码 执行 了 10 步 随机 游 动 : 
t=10; 
w=0; 
for i=1:t 
if rand>1/2 
wew+1; 
else 
wew-1; 
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end 
end 


随机 游 动 是 一 种 概率 行为 ,下 面 需要 一 些 概率 论 的 基本 概念 ， 对 每 个 t, Wi 
是 一 个 随机 变量 .把 一 些 随 机 变量 {Wo, Wi, Wz,…} 串联 在 一 起 定义 为 随机 过 程 
(stochastic process). 

随机 游 动 W 的 一 个 单 步 si 的 期 望 值 为 (0.5)(1) + (0.5) x (-1) = 0,5; 的 
方差 为 El(si — 0)?] = (0.5)(1)? + (0.5)(-1)? = 1. MEAT t 步 后 的 随机 游 动 的 期 
望 为 E(Wi) = E(si + sz +--+ + s) = E(s1) + E(s2) +--+ + E(s:) = 0, 方差 为 
Var(Wt) = Var(sl + s2 +-+- + 8+) = Var(s1) 十 Var(s2) +--+ + Var(s,) = t, 因为 方差 
对 于 相互 独立 的 随机 变量 是 可 加 的 . 

期 望 和 方差 是 描述 概率 分 布 的 统计 量 . 由 Wi 的 期 望 为 0, 方差 为 上 可知 , 要 计 
算 随 机 变量 W, 的 n 个 不 同 实现 , 则 


样本 平均 = Byg Wi) = MEP WE 


样本 方差 Varpa (Wi) = VEED H+ WE- E) 


n-1 
分 别 趋 于 0 和 t. 样本 标准 差 定义 为 样本 方差 的 平方 根 , 也 称 为 平均 值 的 标准 误差 
(standard error). 

随机 游 动 的 许多 有 趣 的 应 用 是 基于 溢出 时 间 (escape time), 也 称 为 第 一 通过 时 
Ù] (first passage time). 令 a,b 为 整数 , 考虑 随机 游 动 从 0 开始 到 达 [—0, a) 边界 的 
第 一 个 时 间 . 这 称 为 随机 游 动 的 溢出 时 间 . 从 [20] 可 知 逃 逸 发 生 在 a (而 非 - 的 
概率 恰 为 b/(a +b). 

例 9.8 ”用 蒙特 卡 罗 模 拟 , 近似 求 随机 游 动 在 边界 点 6 溢出 区 间 [-3,6] 的 
概率 . 
这 发 生 的 次 数 为 总 次 数 的 1/3. 作为 蒙特 卡 罗 类 型 2 问题 , 下 面 计算 样本 均值 
和 从 a = 6 处 溢出 的 概率 的 误差 . 做 n 步 随 机 游 动 直到 溢出 , 并 记录 在 到 达 -3 前 
到 达 6 的 比例 . 对 n 的 不 同 取 值 , 见 表 9-4. 


表 9-4 
n 从 上 滋 出 概率 误差 
100 35 0.3500 0.106 7 
200 72 0.360 0 0.026 7 
400 135 0.337 5 0.004 2 
800 258 0.322 5 0.010 8 
1 600 534 0.330 6 0.002 7 
3 200 1096 0.342 5 0.009 2 


6 400 2 213 0.345 8 0.012 4 
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误差 是 估计 值 和 准确 值 1/3 的 差 的 绝对 值 . 当 随 机 游 动 步 数 增加 时 误差 通常 应 慢 
慢 减 小 , 但 事实 并 非 完全 这 样 , 如 表 所 示 . 图 9-9 给 出 了 50 次 试验 的 平均 误差 . 从 
中 可 以 看 出 , 误差 表明 以 平方 根 速度 下 降 的 罕 定 律 是 蒙特 卡 罗 模 拟 的 一 个 特征 ，< 


图 9-9 


10° 


`o 10° 10° 10° 

随机 游 动 的 数目 n 
对 溢出 问题 ， 蒙 特 卡 罗 模 拟 的 误差 。 对 于 从 点 6 处 溢出 区 间 
(3, 6] 的 概率 , 估计 误差 与 随机 游 动 步 数 的 关系 如 下 面 的 曲线 
所 示 . 概率 的 期 望 值 为 1/3. 上 面 的 曲线 是 同一 个 问题 的 溢出 时 
间 的 估计 误差 . 期 望 值 为 18 个 时 间 步 . 误差 为 50 次 试验 的 平 
均值 


从 [b,a] 溢出 时 间 的 期 望 值 为 ab, 见 [20]. 可 以 用 同样 的 模拟 来 研究 蒙特 卡 罗 
模拟 在 该 问题 上 的 有 效 性 . 

例 9.9 ”用 蒙特 卡 罗 模 拟 , 估计 随机 游 动 溢出 区 间 [—3, 6] 的 溢出 时 间 . 

溢出 时 间 的 期 望 值 为 ob = 18. 一 个 算 例 给 出 了 表 9-5. 同样 , 误差 的 下 降 没有 
固定 的 速率 . 要 看 误差 的 平方 根 罕 定 律 , 对 每 个 n 要 做 更 多 试验 取 平 均 . 50 次 试验 


的 结果 如 图 9-9 所 示 . < 
表 9-5 

n 平均 溢出 时 间 WE 

100 18.84 0.84 

200 17.47 0.53 

400 19.64 1.64 

800 18.53 0.53 

1 600 18.27 0.27 

3 200 18.16 0.16 

6 400 18.05 0.05 

9.3.2 ”连续 布朗 运动 

在 前 面 几 节 中 , 在 t 时 刻 的 标准 随机 游 动 的 期 望 为 0, 方差 为 t. 现在 假设 单位 


时 间 的 步 数 增 大 1 倍 . 如 果 每 1/2 时 间 单位 进行 一 步 游 动 , 则 随机 游 动 在 t 时 刻 的 
WAA 0, 方差 变 为 
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Var(Wi) = Var(sl +++» + s2t) = Var(s1) 十 … 十 Var(szt) = 2t, 


因为 有 2t 步 游 动 发 生 . 像 微 分 方程 一 样 , 为 把 噪声 加 到 连续 模型 中 , 需要 随机 游 动 
的 连续 性 版 本 ， 每 单位 时 间 使 步 数 增加 一 倍 是 一 个 好 的 开始 , 但 为 保持 方差 不 变 ， 
需要 减 小 每 步 的 (纵向 ) 步 长 . 如 果 步 数 以 因子 增加 , 为 保持 方差 不 变 则 需要 以 
因子 1/VE 减 小 步 长 高 度 . 这 是 因为 若 随机 变量 乘 以 一 个 常数 , 则 其 方差 要 变化 该 
常数 的 平方 倍 . 

因此 , 定义 WE 为 每 一 步 st 的 水 平 步 长 是 1/k、 垂直 步 长 为 等 概率 的 +1/Vk 
的 随机 游 动 . 则 在 二 时 刻 的 期 望 值 为 


kt kt 
E(w) = 》 E(s}) = 》 0= 0， 
i=l i=1 
方差 为 


kt kt 2 2 
Var(W#) = 5 Var(st) = > (= (0.5) + (- 去 ) os) = kti =t (9.12) 
i=1 


i=1 
如 果 随 着 k 增加 而 减少 随机 游 动 的 水 平 步 长 和 垂直 步 长 , 则 方差 和 标准 差 保 持 为 
常数 , 独立 于 每 单位 时 间 的 步 数 . 图 9-10b 给 出 了 WE 的 实现 , HH k= 25, 因此 
在 10 个 单位 时 间 中 游 动 了 250 步 . 在 t= 10 时 刻 的 期 望 和 方差 与 图 9-10a 一 样 . 
Yy y 


5 5 


-5 -5 
(a) (b) 
图 9-10 ”高 散布 朗 运动 . (a) 10 步 随机 游 动 . (b) 随机 游 动 Wwe 走 的 步 
数 是 (a) 的 25 倍 , 但 是 垂直 步 长 是 1/V35. 在 时 刻 t = 10 BY, 
游 动 过 程 (a) 和 (b) 的 期 望 和 方差 相同 (分 别 为 0 和 10) 


Dk co, 这 个 级 数 的 极限 WP? 便 形成 了 连续 布朗 运动 . 这 里 时 刻 t 是 个 实 
数 , Bi = ge 对 每 个 + > 0 为 随机 变量 . 连续 布朗 运动 B 有 3 个 重要 性 质 . 

性 质 1 对 每 个 t, 随机 变量 B 服从 期 望 为 0、 方 差 为 上 的 正 态 分 布 . 

性 质 2 GAA t <tr 正 态 随机 变量 Bt,。 一 Bt, 独立 于 随机 变量 Be,, 并 且 
事实 上 独立 于 所 有 的 Ba RP OSSH. 
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性 质 3 ”布朗 运动 Bt 可 用 连续 轨迹 表示 . 
正 态 分 布 的 结果 可 由 中 心 极 限定 理 得 到 , 该 定理 是 概率 论 的 一 个 深刻 事实 . 
布朗 运动 的 计算 机 模拟 以 这 3 个 性 质 为 基础 . 在 t 轴 上 建立 划分 


从 Bo = 0 开始 . 性 质 2 表明 增 量 Be, —B,, 是 一 个 正 态 随 机 变量 , 期 望 和 方差 分 别 为 
OR ty. 因此 可 以 利用 正 态 分 布 NW(0, 丘 ) = Vii oN (0,1) 使 随机 变量 Bi, 得 到 实 
现 ; RAL, 用 标准 正 态 随机 数 乘 以 Vi to 类 似 地 可 以 得 到 Ba. Bu — Bi, 的 分 
布 是 N(0, to — ti) = vtz tN (0, 1), 因此 可 以 选取 标准 正 态 随机 数 , FRU Veo t, 
加 到 Bt 上 得 到 Bi,. 一 般 地 , 布朗 运动 的 增 量 是 时 间 步 长 的 平方 根 再 乘 以 一 个 标 
准 正 态 随机 数 . 


在 MATLAB 中 , 可 以 利用 内 置 的 正 态 随机 数 生成 元 randn 来 逼近 布朗 运动 . 这 


里 使 用 时 间 步 长 At = 1/25, 如 图 9-10b 所 示 . 


k=250; 

sqdelt=sqrt (1/25); 

b=0; 

for i=1:k 
b=b+sqdelt*randn; 

end 


连续 布朗 运动 溢出 时 间 的 统计 量 与 随机 游 动 的 统计 量 相同 . 设 a,b 为 正 数 (不 


一 定 是 整数 ), 考虑 连续 布朗 运动 从 0 开始 到 达 区 间 [-b,a] 的 边界 的 第 一 时 间 , 这 
称 为 布朗 运动 从 该 区 间 的 溢出 时 间 ， 可 以 证 明 , 其 从 a (而 非 —b) 溢出 的 概率 为 
b/(a +b). 并 且 溢出 时 间 的 期 望 为 ab. 计算 机 问题 5 要 求 读者 用 蒙特 卡 罗 模拟 描述 
该 事实 . 

计算 机 问题 9.3 


1. 


y 


s 


A 


g 


设计 一 个 蒙特 卡 罗 模拟 来 估算 随机 游 动 到 达 区 间 [b,a] 的 顶部 a 的 概率 . 取 n = 10 000 
步 随机 游 动 . 与 准确 解 比较 并 计算 误差 . (a) [一 2, 5]; (b) [一 5, 3]; (c) [-8, 3]. 

计算 问题 1 中 随机 游 动 的 平均 溢出 时 间 . 取 n = 10 000 步 随 机 游 动 . 与 准确 解 比较 并 计 
算 误差 . 

在 有 偏 随机 游 动 (biased random walk) 中 , 向 上 走 一 个 单位 的 概率 为 0< p < 1, 向 下 走 
一 个 单位 的 概率 为 g = 1 — p. 对 于 计算 机 问题 1, 设计 一 个 蒙特 卡 罗 模拟 , 估算 其 到 达 区 
闻 顶 部 的 概率 , 其 中 n = 10 000, p = 0.7. 与 准确 解 [(g/p)* -1]/[(q/p)*1* 一 1](p # 4) 
比较 并 计算 误差 . 

对 问题 3 的 溢出 时 间 重 新 计算 一 次 ， 该 有 偏 随机 游 动 的 平均 溢出 时 间 (p Aq) X [b- 
(a +b)(1 — (4/p)/(1 — (a/p)***)I/[a — p)- 

设计 一 个 蒙特 卡 罗 模拟 ， 估 算 随 机 游 动 溢出 区 间 [—b, a] 的 概率 . 取 n = 1 000 步 布朗 
运动 , 步 长 At = 0.01， 与 准确 解 b/(a +b) 比较 并 计算 误差 . (a) [-2,5]; (b) [-2, n]; 
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(c) [-8/3, 3] 

6. 对 计算 机 问题 5 的 区 间 , 计算 布朗 运动 的 平均 溢出 时 间 . 取 n = 1 000 步 布朗 运动 , 步 长 
At = 0.01. 与 准确 解 比较 并 计算 误差 . 

7. 布朗 运动 的 反正 弦 定 律 成 立 , 对 0 < th < te, 运动 轨迹 在 区 间 [t,t2] 没有 穿越 0 的 概 
率 为 (2/r) arcsin V/ti/t2. AY At = 0.01, 设计 一 个 使 用 10 000 个 轨迹 的 蒙特 卡 罗 模 
拟 来 估算 该 概率 ， 并 与 准确 概率 比较 ,， 时间 区 间 分 别 为 : (a) 3 <t< 5 (b)2<t< 10 
(c) 8 < t< 10. 


9.4 ”随机 微分 方程 


常 微 分 方程 (ODE) 是 确定 性 模型 . 给 定 一 个 ODE 以 及 合适 的 初 值 条 件 , 问题 
具有 唯一 解 , 即 关于 方程 解 的 将 来 的 变化 是 完全 确定 的 . 但 该 性 质 对 模型 并 不 是 总 
是 成 立 的 . 对 于 许多 系统 , 尽管 有 些 部 分 很 容易 建 模 , 但 是 其 他 部 分 则 可 能 具有 随 
机 性 一 一 就 好 像 独 立 于 当前 系统 的 状态 . 在 这 种 情况 下 , 通常 把 噪声 项 加 入 微分 方 
程 来 表示 随机 部 分 , 而 不 是 放弃 该 模型 的 使 用 . 这 即 称 为 随机 微分 方程 (SDE). 

本 节 将 讨论 一 些 基本 的 随机 微分 方程 以 及 如 何 用 数值 方法 逼近 方程 的 解 ， 解 
为 连续 随机 过 程 , 类 似 于 布朗 运动 . 下 面 从 一 些 必 要 的 定义 和 Ito 微 积分 的 简单 介 
绍 开始 . 更 详细 的 内 容 , 请 参考 [9, 17, 20). 

9.4.1 “将 噪声 引入 微分 方程 


常 微分 方程 的 解 是 函数 . 而 随机 微分 方程 的 解 为 随机 过 程 . 

定义 9.2 MAR tO 的 随机 变量 zt 的 集合 , 称 为 连续 时 间 随 机 过 程 . 

每 个 实例 , 或 者 随机 过 程 的 实现 , 是 由 随机 变量 zt 对 t 的 一 个 选择 , 即 为 的 
Ba. 
布朗 运动 Be 是 一 个 随机 过 程 . 任何 (确定 性 ) 函数 f(t) 也 可 以 看 作 是 一 个 平 
凡 的 随机 过 程 , 其 方差 Var(f(t)) = 0. SDE 初 值 问题 

{ dy = rdt + odB 
y(0) =0 

的 解 为 随机 过 程 y(t) = rt + oB,, 不 过 需要 限定 一 些 项 . 

注意 到 SDE(9.13) 可 以 具有 不 同 的 形式 , MR ODE 的 衍生 形式 . 这 是 因为 许 
多 有 趣 的 随机 过 程 是 连续 但 不 可 微 的 , 例如 布朗 运动 . 所 以 由 定义 , SDE 


dy = f(t, y)dt + g(t, y)dB: 


(其 中 和 为 常数 ) (9.13) 


意味 着 下 述 积分 方程 


t t 
ult) = v0) + | feuds + [,omae.. 
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这 里 仍然 把 最 后 一 个 积分 定义 为 Ito 积分 . 
Ẹas=to<ti <- < tni <tr =b 是 区 间 [a,4] 的 一 个 划分 . 黎 曼 积分 定义 
为 极限 
| seat = fim, DEDA, 
s i=1 
其 中 At: = ti — tinti <E < ti. 类 似 地 , Ito 积分 定义 为 极限 
b n 
| roaag = im, DAB, 
e i=l 
其 中 AB; = Bi- Bi_1, 是 一 步 布朗 运动. BRRIP t 可 以 选取 为 (it 
中 的 任 一 点 , 但 是 Ito 积分 中 相应 的 点 需要 取 为 区 间 的 左 端 点 . 
b 
因为 fA B, 是 随机 变量 , 因此 Ito 积分 =f JOAB, 也 是 随机 变量 .微分 
al 是 为 了 记号 的 方便 , 因此 由 定义 ， 


I= f fàB: 
等 价 于 
dI = fdB.. 


布朗 运动 B 的 微分 dB, BA AMA (white noise). 
例 9.10 ”求解 随机 微分 方程 y(t) = rdt + cdBt, 初始 条 件 为 y(0) = yo. 
假设 + Mo 为 常 实数 . (确定 性 ) 常 微分 方程 


y'(t)=r (9.14) 


的 解 y(t) = yo +rt, 是 关于 时 间 t 的 线性 函数 . 如 果 r 为 正 , 解 以 常数 斜率 上 升 ; 如 
R r 为 负 , 那么 解 就 下 降 . 
把 带 有 常 实数 o MARR odB, 加 到 等 式 右边 得 到 随机 微分 方程 


dy(t) = rdt + od By. (9.15) 


两 边 积分 得 
y(t) — y(0) = | dy= | rds +| odB, = rt+oB:. 
o o o 


这 表明 , 解 为 随机 过 程 
y(t) = yo +rt+0B:, (9.16) 


这 是 漂移 (rt 项 ) 和 布朗 运动 扩散 的 组 和 . 
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图 9-11 给 出 了 SDE (9.15) Æ ODE (9.14) 的 唯一 解 附近 的 两 个 解 . 严格 地 讲 ， 
ODE (9.14) 的 解 也 是 (9.15) 的 一 个 解 , 其 噪声 为 z=0. 这 是 随机 过 程 的 一 个 可 能 
的 但 是 极 不 可 能 的 特殊 解 . < 


图 9-11 例 10 的 解 . 图 中 给 出 了 ODE y ( =r 的 一 个 解 y(t) = rt, 
以 及 求解 (9.15) 的 随机 过 程 y(t) = rt + cBt 的 两 种 实现 . 参 
Mr=1,0=03 
为 从 分 析 上 求解 SDEs, 需要 介绍 一 些 基本 的 随机 微分 的 运算 法 则 , 称 为 Ito 
公式 . 
Ito 公式 
WR y = f(t,z), W 
dy = He, z)dt + te, x)dx + seat zjdzdz， (9.17) 
其 中 dzdz 项 可 由 恒等式 dtdt = 0,dtdB, = dB,dt = 0 和 dBidB, = dt 来 解释 . 
Ito 公式 是 传统 微 积分 学 中 链 式 法 则 的 随机 形式 . 虽然 该 公式 用 了 微分 的 表达 
形式 , 但 是 其 含义 等 价 于 将 公式 两 边 Ito 积分 . 由 Ito 积分 的 定义 可 以 证 明 该 公 
xt 071, 
例 9.11 üE y(t) = B? Æ SDEdy = dt + 2dByd By 的 一 个 解 . 
为 利用 Ito AR, W y = f(t,z), 其 中 z= By, f(t,z) = x°. 由 (9.17) 式 得 
dy = fidt + fzdz + 了 sdzdz 一 0dt 十 2zdz 十 3j2dzdz 
= 2B,dB, + dB,dB, = 2B,dB, + dt. < 
例 9.12 ”指出 几何 布朗 运动 
u(t) = yoo" 2078 (9.18) 


4200 第 9 章 随机 数 及 其 应 用 


满足 随机 微分 方程 
dy = rydt + oydB;. (9.19) 


记 y = f(t,z) = yoe”, HF z = (r — 40?) t+ 0B.. 由 Ito 公式 的 定义 ， 
dy = yoerdz 十 aoerdzdz， 
其 中 dz = (r — #0?)dt + od By. 利用 Ito 公式 中 的 微分 恒等式 , 得 到 
dzdz = oa2dt. 
所 以 
dy = ye? ( - 3”) dt + yoe*odB, + Byor?erdt 
= yoezrdt + yoe"odB, = rydt + oyd Bs. 
< 
9-12 给 出 了 具有 常数 漂移 系数 (drift coefficient) r 和 扩散 系数 (diffusion 


coefficient) o 的 几何 布朗 运动 的 实现 . 该 模型 广泛 应 用 于 金融 建 模 中 . 特别 地 , JL 
何 布朗 运动 是 Black-Scholes 方程 的 基础 模型 , 后 者 用 于 金融 衍生 产品 的 定价 . 


图 9-12 ”指数 型 布朗 运动 SDE (9.19) 的 解 . (9.18) 的 准确 解 由 图 中 实 
曲线 表示 ， 其 Euler-Maruyama 近似 由 圆 点 表示 ， 点 曲线 表 
示 的 是 相应 实现 的 布朗 运动 路 线 . 参数 为 + = 0.1, o = 0.3, 
At = 0.2 


例 9.11 和 例 9.12 是 特例 . 就 像 ODEs 中 的 情形 , 相当 有 限 的 SDEs 具有 闭 形 
式 的 解 . 更 普遍 地 , 常常 需要 用 数值 逼近 的 办 法 来 求解. 


9.4.2 ”随机 微分 方程 的 数值 方法 


我 们 可 以 用 和 第 6 章 Euler 方法 类 似 的 方法 去 求 随机 微分 方程 的 近似 解 . 就 
如 Euler 所 做 的 工作 那样 , Buler-Maruyama 方法 也 是 依靠 离散 时 间 轴 来 实现 . 我 们 
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在 下 面 的 网 格 点 上 定义 近似 解 : 
a=to<t <t <- <tn =b. 


并 且 分 别 对 于 不 同 的 t 点 , 定义 不 同 的 y 值 为 


Wo < Wi < w2 < `+: < Wn. 
给 定 一 个 随机 微分 方程 初 值 问题 


{ dy(t) = f(t, y)dt + g(t, y)dBr, 


yla) = ya (9.20) 


可 以 近似 地 计算 出 它 的 解 : 
Euler-Maruyama 方法 
wo = Yo 
for i=0,1,2,--- 
Wit1 = wi + f (ti, wi)(Ati) + g(ti, wi)(AB:) (9.21) 
end 
其 中 
At =t t (9.22) 
AB; = Bupi — Bu 


关键 之 处 在 于 如 何 去 建立 布朗 运动 AB 的 模型 . 定义 N(0,1) 为 标准 随机 变 
量 的 集合 , 它们 服从 均值 为 0、 标 准 差 为 1 的 正 态 分 布 . 每 个 随机 数 AB; 由 9.3.2 
节 介 绍 的 方法 来 计算 , 即 

AB; = aVAti, (9.23) 
其 中 2; 是 N(0,1) 中 的 一 个 随机 变量 ， 在 MATLAB 中 , zi 可 由 randn 命令 来 生 
成 ， 再 次 注意 到 与 确定 性 常 微 分 方程 的 不 同 之 处 ， 我 们 计算 得 到 的 每 一 个 集合 
{wo,… ,aon} 都 是 随机 过 程 y(t) 的 近似 解 实现 , 它 依赖 于 随机 数 2 的 选取 . 
为 B, 是 一 个 随机 过 程 , 每 次 实现 肯定 是 不 一 样 的 , 所 以 我 们 得 到 的 近似 解 也 肯定 
是 不 一 样 的 . 

作为 第 一 个 例子 , 我 们 展示 如 何 将 Euler-Maruyama 方法 应 用 于 指数 型 布朗 运 
动 随机 微分 方程 (9.19). 根据 (9.21), Euler-Maruyama 方法 有 如 下 形式 : 


ATM (9.24) 
Witl = wi + rwi(Ati) + cwi(ABi). 
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准确 解 [由 解 (9.18) 生成 ] 及 其 相应 的 Euler-Maruyama 近似 如 图 9-12 所 示 .“ 相 应 
的 ", 意思 是 该 近似 方法 使 用 了 与 正确 解 相同 的 布朗 运动 实现 (也 在 图 9-12 中 标 出 ) 
的 近似 . 留意 一 下 准确 解 曲线 和 近似 解 点 的 紧密 一 致 性 . 近似 解 点 由 每 隔 0.2 个 时 
间 单 位 的 小 圆 点 表示 - 

例 9.13 ”用 数值 方法 求解 Langevin 方程 


dy = —rydt + odBi, (9.25) 


其 中 > 和 是 正 的 常数 . 

和 前 面 的 例子 不 同 , 这 里 不 可 能 像 普通 情形 那样 对 方程 进行 求 导 . Langevin 方 
程 的 解 是 一 个 随机 过 程 , 称 为 Ornstein-Uhlenbeck 过 程 . 图 9-13 表示 出 了 它 的 
一 个 近似 解 . 近似 解 是 由 一 个 Euler-Maruyama 近似 生成 , 其 中 采用 了 步 长 


Wo = Yo 
9.26 
wisi = wi — rw(A) + o(AB), i=he on (0-28) 


tn’ My Ave 
P. 


+ 


图 9-13 Langevin 方程 (9.25) 的 解 . 上 面 的 曲线 是 由 Euler-Maruyama 
方法 计算 得 到 的 近似 解 , 其 中 参数 > = 10,o = 1. 点 曲线 是 相 
应 的 布朗 运动 实现 


在 有 噪声 存在 的 背景 下 ,即将 回 到 某 个 状态 (本 例 中 即 y = 0 的 状态 ) 的 系统 
常用 这 个 随机 微分 方程 来 建 模 . 我 们 可 以 把 它 想 象 成 一 个 盛 满 乒 乓 球 的 碗 放 在 车 
E, 车 子 在 崎 岷 的 路 面 上 行走 . 乒乓 球 从 碗 中 心 偏离 的 距离 y(t) 可 以 由 Langevin 
方程 来 建 模 . < 

接 下 来 讨论 随机 微分 方程 解 的 “ 阶 ”概念 . 随机 微分 方程 的 解 是 一 个 随机 过 程 ， 
每 个 计算 出 来 的 轨道 只 是 过 程 的 一 个 实现 而 已 . 除 此 之 外 , 它 和 一 般 常 微分 方程 的 
解 是 类 似 的 . 每 个 布朗 运动 的 实现 将 会 强制 解 y(t) 的 一 个 不 同 的 实现 . 如 果 我 们 
在 t 轴 上 固定 一 个 点 T> 0, 每 个 从 t=0 开始 取 值 的 解 将 会 在 T 点 返回 一 个 随机 
数 . 也 就 是 说 , y(T) 是 一 个 随机 变量 . 而 且 , 每 个 (比如 说 ) 由 Euler-Maruyama 方 
法 计算 出 来 的 解 路 径 w(t), ÆT 点 也 将 返回 一 个 随机 数 . 因此 wT) 也 是 一 个 随机 
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变量 . 在 时 间 T, 两 个 变量 的 差 e(T) = y(T) - wT) 也 是 一 个 随机 变量 . 就 像 常 微 
分 方程 解 的 分 析 方 法 一 样 ,“ 阶 ”的 概念 量化 了 误差 e(T) 的 期 望 值 . 

定义 9.3 ”如 果 误差 的 期 望 值 是 步 长 的 m 次 方 阶 , 则 说 一 个 常 微分 方程 解 的 
阶 (order) 是 m. 也 就 是 说 , 当 步 长 At 趋向 于 0 时 , 对 于 任意 的 时 间 了 T, Efly(T) 一 
w(T)|} = O((At)™). 

令 人 惊讶 的 是 , 不 像 常 微分 方程 情形 那样 , Euler 方法 是 1 阶 的 , 随机 微分 方程 
的 Euler-Maruyama 方法 是 1/2 阶 的 . 为 了 建立 随机 微分 方程 的 1 阶 方法 , 我 们 需 
要 把 “随机 泰勒 级 数 ” 的 概念 引入 方法 . 


考虑 随机 微分 方程 
{ dy(t) = f(t, y)dt + g(t, y)dB 
y(0) = yo 
Milstein 方法 
wo=Yo 
for i=0,1,2,-:- 


Wit1 =wit f (ti, wi)(Ati)+9(ti, wi)(ABi)+ potter) Pe, wi)((ABi)?~Ati) 
end (9.27) 


Milstein 方法 是 1 阶 的 . 注意 到 , 如 果 方 程 里 的 扩散 部 分 glu, t) 没有 y 项 的 话 ， 
Milstein 方法 等 价 于 Euler-Maruyama 方法 . 当 步 长 h F 0 的 时 候 , Milstein 方 
法 会 比 Euler-Maruyama 方法 更 快 地 趋向 于 准确 的 随机 过 程 解 . 

例 9.14 ”将 Milstein 方法 用 于 几何 布朗 运动 . 

方程 为 

dy = rydt + oydB,, (9.28) 


其 解 为 

y = ye Be )ttoBe, (9.29) 
前 面 已 经 讨论 了 它 的 Euler-Maruyama 近似 . 使 用 固定 的 步 长 Ab Milstein 方法 就 
变 成 


wo = Yo; 
wigs = wi + rw; (At) + ow; (AB) + 577i((AB)? - At). 


对 Euler-Maruyama 方法 和 Milstein 方法 使 用 逐步 减 小 的 步 长 At, 将 会 得 到 
近似 效果 的 成 功 改进 , 如 表 9-6 所 示 . 

表 中 的 两 列 数据 表示 误差 wT) — y(T)| Æ T = 8 时 的 平均 值 (对 100 个 实现 
RFH). 注意 到 w(t) 和 y(t) 有 同样 的 布朗 运动 增 量 AB;. 在 表 中 可 清楚 地 看 到 


(9.30) 
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Euler-Maruyama 方法 是 1/2 阶 的 , Milstein 方法 是 1 阶 的 , 为 了 使 Euler-Maruyama 
方法 的 误差 减 小 到 原来 的 1, 我 们 必须 把 步 长 除 以 4. 对 于 Milstein 方法 而 言 , 把 步 


长 除 以 2 就 得 到 相同 的 结果 . 表 中 的 数据 取 对 数 单位 后 的 图 见 图 9-14. < 
表 9-6 
At Euler-Maruyama Milstein 
yi 0.169 369 0.063 864 
2-2 0.136 665 0.035 890 
ys 0.086 185 0.017 960 
2-4 0.060 615 0.008 360 
258. 0.048 823 0.004 158 
2-6 0.035 690 0.002 058 
a 0.024 277 0.000 981 
2-8 0.016 399 0.000 471 
2-9 0.011 897 0.000 242 
2720 0.007 913 0.000 122 
10° 
10" 
x 
R jo- 
go 
Be 
10> 
10% 
107 107 10° 
BEA 


图 9-14 Buler-Maruyama 方法 和 Milstein 方法 的 误差 .几何 布朗 运 
动 方程 (9.28) 的 解 路 径 ， 并 和 (9.29) 给 出 的 准确 解 作 比较 . 
两 种 方法 误差 的 绝对 值 与 步 长 h 的 关系 在 图 中 画 出 ，Euler- 
Maruyama 方法 的 误差 由 圆 点 表示 , Milstein 方法 的 误差 由 叉 
号 表示 . 注意 到 在 双 对 数 图 中 , 两 个 斜率 分 别 是 1/2 和 1 


亮点 ”收敛 性 

这 里 引入 随机 微分 方程 数值 方法 的 阶 , Euler-Maruyama 方法 的 阶 是 
1/2, Milstein 方法 的 阶 是 1. 如 果 以 常 微分 方程 的 标准 来 看 , 都 属于 低 阶 
方法 . 随机 微分 方程 的 高 阶 方法 当然 也 可 以 构造 出 来 , 但 是 当 阶 增 大 的 时 
候 , 方法 的 复杂 性 会 大 大 增加 . 在 实际 应 用 中 , 是 否 需 要 高 阶 方法 取决 于 
如 何 使 用 最 后 得 到 的 近似 解 . 在 常 微 分 方程 的 情形 , 一 般 的 假定 是 : 初始 
条 件 和 微分 方程 必须 是 高 精度 的 . 这 样 , 尽 可 能 以 相同 的 精度 计算 它 的 解 
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才 有 意义 , 这 时 如 果 高 阶 方法 的 代价 不 高 , 就 使 用 高 阶 的 方法 . 但 是 在 很 
多 情形 下 , SDE 的 高 阶 方法 的 优势 并 不 明显 , 如 果 这 些 高 阶 方法 伴随 着 额 
外 的 计算 耗费 , 那么 这 些 解 法 也 可 能 被 认为 是 不 正确 的 . 


例 9.15 用 Euler-Maruyama 方法 和 Milstein 方法 求解 随机 微分 方程 
dy = —2e~7¥dt + 2e-d By. (9.31) 


这 个 例子 有 一 个 有 趣 而 值得 注意 的 性 质 值得 讨论 . 可 以 找到 一 个 显 式 的 解 , 但 
是 这 个 解 只 在 有 限 的 时 间 扩 张 里 存在 . 用 Ito 公式 (9.17), 只 要 对 数 符号 里 面 的 量 
是 正 的 , y(t) = In(2B: + e) 就 是 一 个 解 . 在 当 布朗 运动 实现 使 得 2B, + ew 变 成 负 
数 的 那个 第 一 时 间 t, 以 及 t 以 后 的 时 刻 , 解 便 不 复 存在 . 

对 于 这 个 方程 , Euler-Maruyama 方法 是 


wo = Yo; 
9.32 
Witl = Wi — 2e—2 (At;) + 2e-” (AB), Gan 


Milstein 方法 是 

wo = Yo: 

wis = w; — 2672: (Ati) + 2e-”*(AB;) — 2e-2”*((AB,)? — Ati). (9.38) 
在 区 间 0<t< 3 上 的 解 如 图 9-15 所 示 . 4 


图 9-15 方程 (9.31) 的 解 


准确 解 和 用 圆 点 表示 的 Milstein 近似 解 . 到 现在 为 止 , 我 们 见 到 的 随机 过 程 都 
有 着 随 t 变 大 而 增 大 的 方差 . 例如 布朗 运动 的 方差 是 Var(Bt) =t. 我 们 用 一 个 值 
得 注意 的 例子 来 结束 本 节 . 其 实现 的 末端 就 如 始 端 一 样 可 以 预测 
例 9.16 ”数值 求解 布朗 桥 随机 微分 方程 
wry 
{ dy = pat + dBi, ne 
y(to) = yo, 
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其 中 y Bl ty > to 是 给 定 的 数 . 

布朗 桥 (9.34) 的 解 如 图 9-16 所 示 . 当 创 建 路 径 的 时 候 , 由 于 目标 斜率 适当 地 
改变 , 所 有 解 过 程 的 实现 都 终于 一 个 我 们 期 望 的 点 (t1,y1). 这 个 解 路 径 就 可 以 看 成 
是 两 个 给 定 的 点 (to, yo) 和 (ti, yi) 之 间 的 随机 生成 的 “ 桥 ”. < 


图 9-16 布朗 桥 . 方程 (9.34) 的 解 的 两 个 实现 . 端点 是 (to, yo) = (1,1) 
和 (ti, yx) = (3,2) 
习题 9.4 
1. 用 Ito 公式 证 明 SDE 初 值 问题 
dy = Brdt + tdB,, dy = 2B:dB:, 
b; 
w{ y(0) = : r{ (0) =e 
的 解 分 别 是 (a) y(t) = tB: +c; (b) y(t) = B? -t + c. 
2. 用 Ito 公式 证 明 SDE 初 值 问题 
四 { dy = a — B?)e~*¥dt + 2Bre-vdB., (b) { dy = Balt Yy dB, 
y(0) = 0, y(0) =0 
的 解 分 别 是 (a) y(t) = In(1+ BZ), (b) y(t) = 3 BP. 
3. 用 Ito 公式 证 明 SDE 初 值 问题 
@ { w= tydt + e* 12dB4， () { dy = 3(B? — t)d Bs, 
y(0) =1, y(0) =0 
的 解 分 别 是 (a) y(t) = (1+ Bee/?, (b) y(t) = B? — 3tBe. 
4. 用 Ito 公式 证 明 SDE 初 值 问题 
(a) dy = —}ydt + Vi— wdB., (b) dy = y(1+ 2Iny)dt + 2yB:dB:, 
y(0) = 0, y(0)=1 
的 解 分 别 是 (a) y(t) = sin Bs; (b) y(t) =e%. 
5. 用 Ito 公式 证 明 方程 (9.31) 的 解 是 In(2B +e"). 
6. (a) 求解 拟 布朗 桥 常 微分 方程 问题 
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w= Ab 9.35) 
y(to) = yo- (9.86) 


这 些 解 像 布朗 桥 问题 那样 过 点 (th, yn) 吗 ? 对 下 面 的 方程 回答 相同 的 问题 : 


6 y = BoB, of dy = Baedt + dBi, 
y(to) = yo; y(to) = yo. 


计算 机 问题 9.4 


1. 


10. 


用 Euler-Maruyama 方法 求 习题 1 中 SDE 初 值 问题 的 近似 解 . 使 用 初 值 y(0) = 0. 画 
出 准确 解 的 图 像 (用 相同 的 随机 增 量 , 追踪 布朗 运动 B. 而 得 到 ), 并 且 画 出 在 区 间 [0, 10) 
的 近似 解 的 图 像 , 步 长 取 h = 0.01. 画 出 在 给 定 区 间 上 误差 的 半 对 数 图 像 . 


. 用 Euler-Maruyama 方法 求 习题 2 SDE 初 值 问题 的 近似 解 . 初 值 y(0) = 1. 画 出 准 


确 解 的 图 像 , 并 且 画 出 在 区 间 [0, 1] 的 近似 解 的 图 像 , 步 长 取 h = 0.01. 面 出 在 给 定 区 间 
上 误差 的 半 对 数 图 像 . 


. 在 区 间 [0,2] 上 , 步 长 取 h = 0.01, 用 Euler-Maruyama 方法 求解 习题 3. 画 出 随机 过 程 


解 的 两 个 实现 . 


,在 区 间 [0,1] 上 , 步 长 取 h = 0.01, 用 Euler-Maruyama 方法 求解 习题 4. 画 出 随机 过 程 


解 的 两 个 实现 . 


.对 于 区 间 [0, 1] 上 的 问题 


{ dy = Bidt + 9/9y?4B., 
y(0) = 0， 

步 长 分 别 取 h = 0.1, 0.01, 0.001, 用 Euler-Maruyama 方法 求解 . 对 于 每 一 种 步 长 , 运行 
5 000 个 近似 解 的 实现 , 并 在 t= 1 时 求 平均 误差 . 对 于 不 同 的 步 长 , 把 t = 1 时 的 平均 
误差 列表 显示 出 来 . 这 些 平均 误差 的 阶 和 理论 一 致 吗 ? 


.用 Euler-Maruyama 方法 求解 SDE 初 值 问题 dy = ydt + ydB:,y(0) = 1. 画 出 近似 解 


与 准确 解 y(t) = e#t+at 的 图 像 . 步 长 h = 0.1, 区 间 为 0< t < 2. 


. H Milstein 方法 求 习题 2b 的 SDE 初 值 问 题 的 近似 解 . 在 区 间 [0, 5] 上 画 出 准确 解 和 近 


似 解 的 图 像 , 步 长 h = 0.1. 在 区 间 上 画 出 误差 的 半 对 数 图 像 . 


. H Milstein 方法 求 习 题 4a 的 SDE 初 值 问题 的 近似 解 . 在 区 间 [0, 5] 上 画 出 准确 解 和 近 


似 解 的 图 像 , PK h= 0.1. 在 区 间 上 画 出 误差 的 半 对 数 图 像 . 


.对 于 区 间 [0, 1) 上 的 问题 


{ dy = Brdt + 3/9yidB:, 
y(0) =0, 
步 长 分 别 取 h = 0.1, 0.01, 0.001, 用 Milstein 方法 求 近似 解 ， 对 于 每 一 个 步 长 , 运行 
5 000 个 近似 解 的 实现 , 并 在 t = 1 处 求 平均 误差 . 对 于 不 同 的 步 长 , 把 t = 1 时 的 平均 
误差 列表 显示 出 来 . 这 些 平均 误差 的 阶 和 理论 一 致 吗 ? 
y(t) 是 Langevin 方程 

dy = —ydt + dB:, 

{ y(0) =e 
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的 Euler-Maruyama 解 , 对 y(1) 进行 蒙特 卡 罗 估计 . 要 求 平均 n = 1 000 个 实现 , 其 中 
步 长 h = 0.01. 和 y(1) 的 期 望 值 1 作 一 下 比较 . 


实例 检验 9 Black-Scholes 公式 


蒙特 卡 罗 模 拟 和 随机 微分 方程 模型 大 量 应 用 于 金融 计算 中 . 金融 衍生 产品 (financial deriva- 
tive) 是 一 种 其 价值 是 衍生 自 其 他 工具 价值 的 金融 工具 . 特别 地 , 期 权 (option) 是 完成 某 个 特 
定金 融 交 易 的 权利 , 但 不 是 义务 . 

(欧式 ) 看 涨 期 权 (call option) 是 在 未 来 的 一 个 日 期 [ 称 为 执行 日 (exercise date)] 里 购买 
以 一 个 预定 价格 [ 称 为 交割 价 (strike price)] 购买 记 券 股 份 的 权利 . 购买 权 买 进 或 者 卖 出 , 对 于 
公司 来 说 是 为 了 管理 风险 ; 而 对 于 个 人 和 公共 基金 ， 是 投资 策略 的 一 部 分 . 我 们 的 目标 是 计算 
看 涨 期 权 的 价值 . 

例如 , ABC 公司 12 月 份 的 看 涨 期 权 15 美元 , 表示 在 12 月 份 以 每 股 15 美元 的 价格 购 
买 的 权利 . 假设 在 6 月 1 号 的 价格 是 12 美元 . 这 样 一 项 权利 的 价值 是 多 少 ? 在 执行 日 那天 ， 
K 美元 的 看 涨 期 权 是 确定 的 : max (X — K,0) 就 是 看 涨 期 权 的 价值 , 其 中 X 是 股票 市 场 的 当 
前 价格 . 那 是 因为 , WR X > K, 以 K 美元 的 价格 购买 ABC 的 权利 值 (X — K) 美元 ; 如 果 
X < K, 以 K 美元 购买 ABC 的 权利 变 得 一 文 不 值 ， 因为 我 们 可 以 用 更 低 的 价格 买 多 少 都 可 
以 . 虽然 在 执行 日 那天 , 期 权 的 价值 是 清楚 的 , 困难 之 处 在 于 截止 日 期 前 的 一 段 时 间 如 何 计 算 
期 权 的 价值 . 

在 20 世纪 60 年 代 , Fisher Black 和 Myron Scholes 探讨 了 关于 几何 布朗 运动 的 假设 


dX = mXdt + oXdB, (9.36) 


并 以 此 作为 股票 市 场 的 模型 , 其 中 m 是 平移 , 或 者 叫 股票 市 场 的 增长 率 , o 是 扩散 常数 或 者 叫 
波动 (volatility). m 和 o 都 可 以 由 过 去 股票 价格 数据 估计 出 来 . Black 和 Scholes 的 过 人 之 
处 在 于 发 展 了 套 汇 理论 . 这 个 理论 是 在 现行 利率 r 下 , 通过 明智 地 平衡 股票 持 有 和 现金 借贷 来 
复制 期 权 , 他 们 断言 的 结果 是 : 正确 的 看 涨 期 权 价值 (还 有 T 年 到 期 ) 是 当前 期 望 的 期 权 价值 
在 到 期 日 的 现 值 . 标的 股票 价格 (underlying stock price) X(t) 满足 SDE 


dX =rXdt+oXdBi, (9.37) 


也 就 是 说 , 对 于 t = 0 时 刻 的 股票 价格 Xo, 截止 期 限 是 t=T 的 期 权 价值 是 下 面 式 子 的 期 望 
值 : 
C(Xo,T)=e€ "TE(max(X(T) — K,0)), (9.38) 
其 中 , X(t) 由 (9.37) 给 出 . 在 它们 的 衍生 物 中 , 令 人 吃惊 的 是 , 在 (9.37) 中 用 利率 r 代替 了 
(9.36) 的 平移 m. 事实 上 , 预计 中 股票 的 增长 率 竟然 和 期 权 价 格 无 关 ! 这 与 Black-Scholes 理 
论 的 基石 无 套 汇 假设 相 一 致 . 无 套 汇 假设 是 说 在 有 效 的 市 场 里 , 不 存在 无 风险 收入 . 
(9.38) 依赖 于 随机 变量 X(T) 的 期 望 值 , 这 是 在 模拟 过 程 中 唯一 可 用 的 随机 变量 .于 是 ， 
除了 这 种 观点 之 外 , Black 和 Scholes!) 对 于 看 涨 期 权 价格 提供 了 一 个 封闭 形式 的 表达 式 , AB 


就 是 
O(X,T) = XN(d1) -Ke N(də), (9.39) 
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其 中 NG@)= Ay [ods RIE RITHM, 


_ In(X/K) + (r+ 307) T ea Bet (r- 507)T 
E ovT ii ovT 
式 (9.39) 称 为 Black-Scholes 公式 . 
建议 习题 
假设 ABC 公司 的 股票 是 每 股 12 美元 . 考虑 欧式 看 涨 期 权 , 期 权 交 割 价 是 15 美元 , 执行 
日 是 从 今天 开始 的 6 个 月 , 因此 T = 0.5 年 . 假设 有 一 个 固定 的 利率 r= 0.05, 股票 的 波动 是 
0.25 (也 就 是 说 每 年 25%). 
1. 用 蒙特 卡 罗 模拟 计算 (9.38) 式 的 期 望 值 . 用 Euler-Maruyama 方法 求 (9.37) 的 近似 解 ， 
取 步 长 h = 0.01, 初始 值 Xo = 12. 注意 到 SDE (9.36) 与 计算 不 相关 . 至 少 重复 执行 
10 000 次 . 
2. 由 Black-Scholes 公式 (9.39)， 比 较 你 第 1 步 的 近似 值 和 准确 值 ， 函数 N(x) 可 以 用 
MATLAB 误差 函数 ert 来 计算 : 


dı 


N(a) = (1 + erf(x/V2))/2 


3. 用 Milstein 方法 代替 Euler-Maruyama 方法 , 并 且 重复 第 1 步 、 对 两 种 方法 的 误差 进行 
比较 . 

4. (欧式 ) 看 跌 期 权 (put option) 和 看 涨 期 权 不 一 样 , 因为 它 表示 的 是 以 交割 价 来 售 出 而 不 
是 买 入 的 权利 . 看 跌 期 权 的 价值 是 


P(X,T)=e-"TE(max(K — X(T),0)), (9.40) 


使 用 (9.37) 中 提供 的 X(T). 对 于 第 一 步 相 同 的 数据 , 通过 蒙特 卡 罗 模 拟 计算 这 个 价值 ， 
同时 采用 Euler-Maruyama 方法 和 Milstein 方法 . 
5. 比较 第 4 步 的 近似 结果 与 用 Black-Scholes 公式 计算 的 看 跌 期 权 


P(X,T) = Ke"? N(—d2) — XN(—d1) (9.41) 


6. 障碍 期 权 (barrier option) 有 一 种 支付 (payout), 如果 股票 超过 一 个 给 定 的 水 平 ， 这 种 
支付 就 会 取消 掉 . 考虑 障碍 期 权 , 交割 价 K = 15 美元 , 障碍 L = 10 美元 如 果 对 于 
0 <t< T,X(t) > L, 则 支付 是 max(X 一 K,0); 否则 支付 就 是 0. 设计 并 执行 一 个 蒙特 
卡 罗 模拟 , 使 用 几何 布朗 运动 (9.36) 和 (9.38) 并 为 障碍 期 权 支 付 进行 修改 . 与 准确 值 


x 


1-2r/e? 
V(X,T) = C(X,T) - (2) C(L?/X,T) 


进行 比较 , 其 中 ,C(X,T) 是 标准 欧式 看 涨 期 权 价值 , 交割 价 是 K. 参考 [21, 8] 可 获得 
更 多 关于 奇异 期 权 、 奇 异 期 权 的 价格 公式 ,以 及 蒙特 卡 罗 模拟 在 经 济 中 的 作用 等 方面 的 
细节 . 
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软件 及 进一步 的 阅读 

教科 书 [4] 简 述 了 随机 数 生成 问题 . 这 个 领域 中 其 他 的 经 典 资源 是 [12, 16].“ 随 机 数 生成 
方法 " 与 “一 般 估计 准则 讨论 ”的 比较 参见 [6]. 

randu 问题 在 [13] 中 令 述 .最 小 标准 生成 元 在 [18] 中 介绍 . MATLAB 的 随机 数 生成 元 是 
基于 Marsaglia 和 Zaman 在 [14] 中 介绍 的 “ 借 位 减 ”方法 而 成 有 关 蒙 特 卡 罗 方 法 及 其 应 用 
的 更 多 知识 在 [3, 19] 可 找到 . 

随机 微分 方程 方面 的 现代 教科 书包 含 [17, 9, 20]. 在 这 个 领域 上 做 研究 , 需要 基础 概率 论 
方面 扎实 的 功底 . 关于 随机 微分 方程 数值 解法 方面 的 内 容 ，[10] 里 有 广泛 的 论述 . [11] 是 一 本 
更 面向 应 用 的 手册 . 文章 [7] 是 MATLAB 关于 随机 微分 方程 基本 解法 软件 的 介绍 , 非常 浅显 易 
W. [20] 简要 介绍 了 随机 微分 方程 在 金融 方面 的 大 量 应 用 . 
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数字 信号 处 理 (DSP) 芯片 是 高 级 消费 电子 产品 中 的 核心 ， 移 动 电 话 、CD 和 
DVD 控制 器 ,汽车 电子 器 件 、 个 人 数字 助理 、 数 字 调 制 解 调 器 、 照 相机 以 及 电视 机 
都 使 用 了 这 些 无 所 不 在 的 芯片 ， 数 字 信 号 处 理 芯 片 的 特点 是 它 的 快速 数值 计算 的 
能 力 , 包括 快速 Fourier 变换 (FFT). 

DSP 的 最 基本 功能 之 一 是 通过 滤波 掉 不 想 要 的 噪声 以 分 离 出 想 要 的 输入 信息 . 
创建 可 靠 的 语言 识别 软件 是 目前 正在 进行 的 研究 , 其 中 重要 的 部 分 是 从 杂乱 的 背景 
中 提取 信号 . 它 也 是 参加 足球 比赛 的 机 器 狗 所 使 用 的 模式 识别 装置 的 关键 因素 ， 把 
感知 的 输入 转 成 可 用 的 数据 资料 . 

实例 检验 10.3.3 节 后 的 实例 检验 10 叙述 了 Wiener 滤波 器 , 一 种 借助 于 DSP 
来 减 小 噪声 的 基本 构造 块 . 


半 个 世纪 以 前 , 即使 是 最 乐观 的 三 角 学 教师 , 也 不 可 能 预见 到 正弦 和 余弦 对 现 
代 技 术 的 影响 . 如 我 们 在 第 4 章 中 学 过 的 , 多 频率 的 三 角 函 数 是 周期 数据 自然 的 插 
值 函 数 ，Fourier 变换 在 执行 插值 中 相当 有 效 , 并 且 在 现代 信号 处 理 的 数据 密集 型 
应 用 中 是 不 可 代替 的 . 

三 角 插 值 的 效能 与 正 交 性 概 含有 密切 关系 . 我 们 将 看 到 正 交 基 函数 使 得 插值 和 
数据 的 最 小 二 乘 拟 合 更 加 简单 而 且 更 加 精确 . Fourier 变换 用 了 这 种 正 交 性 并 且 提 
供 了 用 正弦 和 余弦 插值 的 有 效 方法 . Cooley 和 Tukey 在 计算 上 的 突破 被 称 为 快速 
Fourier 变换 (FFT) ,意味 着 可 以 非常 廉价 地 计算 离散 Fourier 变换 (DFT) . 

第 10 章 覆 盖 了 离散 Fourier 变换 的 基本 概念 , 包括 对 复数 的 简短 介绍 . 在 三 角 
插值 和 最 小 二 乘 逼 近 中 , DFT 的 作用 是 有 特色 的 , 而 且 被 看 作用 正 交 基 函数 进行 逼 
近 的 一 种 特殊 情形 . 这 是 数字 滤波 和 信号 处 理 的 本 质 . 


10.1 Fourier 变换 


法 国 数学 家 Jean Baptiste Joseph Fourier, 在 法 兰 西 大 革命 时 期 从 钢 刀 下 逃生 ， 
又 在 拿破仑 磨 下 参加 战争 , 他 抽 时 间 研 究 了 热传导 理论 . 为 了 使 这 种 理论 起 作用 ， 
他 需要 扩张 函数 , 不 是 像 Taylor 级 数 那样 用 多 项 式 来 表示 , 而 是 用 首先 由 Euler 和 
Bernoulli 建立 的 一 种 革命 性 的 方法 一 一 用 正弦 和 余弦 函数 来 表示 .虽然 当时 被 认 
为 不 够 严谨 而 受到 主流 数学 家 的 反对 , 但 今天 Fourier 方法 已 渗透 到 应 用 数学 、 物 
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理 和 工程 的 许多 领域 . 本 节 引 入 离散 Fourier 变换 , 并 描述 一 种 有 效 的 算法 来 计算 
它 , 即 快速 Fourier 变换 . 
10.1.1 复 算术 

通过 采用 复数 的 语言 可 以 大 大 简化 三 角 函 数 的 记 法 要 求 . 每 个 复数 具有 形式 
z=a+bi, 这 里 i = V-I. 如 图 10-1 所 示 , 每 一 个 z 在 几何 上 表示 为 沿 实 (水 平 ) 
轴 长 度 为 a, 沿 虚 (EH) 轴 长 度 为 5 的 二 维 向 量 . 数 z = a + bi 的 复 度量 (complex 
magnitude) 定义 为 |z| = Va? F, 恰好 等 于 在 复 平面 上 从 原点 到 这 个 复数 的 距离 . 
复数 > = a + bi HME (complex conjugate) 是 z=a bi. 

复 算术 中 著名 的 Euler 公式 是 指 ex = cos + isind.z = e° 的 复 度量 是 1, 
此 , 如 图 10-2 所 示 , 这 种 形式 的 复数 落 在 复 平面 的 单位 圆 上 . 可 以 把 任意 复数 o 十 大 
表示 成 极 坐标 (polar representation) 


z=a+bi=re%, (10.1) 


这 里 7 的 复 度量 是 |z| = Va? +07, 0 = arctan’. 


图 10-1 复数 的 表示 : 实 部 与 虚 部 分 别 为 ”图 10-2 复 平面 中 的 单位 圆 ， 关于 某 个 角 
和 bi. 极 坐标 表示 是 + bi = re? 度 9 的 形 如 el 的 复数 有 度量 1 
并 且 落 在 单位 圆 上 


复 平面 中 的 单位 圆 与 度量 + = 1 的 复数 相对 应 . 为 了 把 单位 圆 的 两 个 数 ee 和 
en HR, 我 们 可 以 先 转换 成 三 角 函 数 , 然后 再 相 乘 : 


ee!1 = (cosg +isinb)(cos7 + isin y) 
=cos @ cosy — sin @ sin y + i(sin @ cos y + sin y cos 8). 
可 忆 余弦 加 法 公式 和 正弦 加 法 公式 , 可 以 把 它 写成 


cos(0 + y) +isin( + y) = e+”), 
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等 价 地 , 恰好 是 指数 相 加 


PeT = ei(9+7). (10.2) 


R (10.2) 表示 : 单位 圆 上 两 个 数 的 乘积 给 出 了 单位 圆 上 一 个 新 的 点 ， 它 的 角度 是 
这 两 个 数 的 角度 之 和 . Euler 公式 隐藏 了 像 正弦 和 余弦 加 法 公式 这 样 的 三 角 学 细节 ， 
而 且 使 记 法 更 简单 . 这 就 是 我 们 把 复 算术 引入 到 三 角 插 值 中 的 原因 . 尽管 它 完全 可 
以 在 实数 内 完成 , 但 是 Euler 公式 有 深刻 的 简化 效果 . 
我 们 挑选 出 度量 为 1 的 复数 的 一 类 特殊 子 集 . WR z" = 1, 那么 复数 > Bn 
次 单位 根 . 实数 轴 上 仅 有 两 个 单位 根 , -1 和 1; 然而 在 复 平面 上 却 有 许多 个 . 例如 ， 
因为 让 = (-1)? = 1, 所 以 i 本 身 是 4 次 单位 根 . 
对 任意 的 k < mw WMR n 次 单位 根 不 
是 大 次 单位 根 , 那么 这 个 n 次 单位 根 称 为 
本 原 的 (primitive). 根据 这 个 定义 , -1 是 
一 个 本 原 二 次 单位 根 , 而 且 是 一 个 非 本 原 
4 次 单位 根 . 容易 验证 , 对 任意 整数 n, 复 
数 wn = en 是 一 个 本 原 n 次 单位 根 . 
数 ezri/" 也 是 一 个 本 原 n 次 单位 根 , 但 是 
我 们 将 按 通 常 的 习惯 用 前 者 作为 Fourier 
变换 的 基 . 图 10-3 表示 一 个 本 原 8 次 单位 
根 ws = e-2/8 和 其 余 7 个 单位 根 , 它们 
都 是 ws ARE. 图 10-3 图 中 表示 8 个 8 次 单位 根 . 它们 


J = : 由 w = e-2a/8 生成 , 意 即 对 某 个 
这 里 有 一 个 关键 的 恒等式 , 我 们 以 后 k, 每 一 个 都 是 wt, 尽管 w B® 


在 简化 高 数 Fourier 变换 的 计算 中 将 需要 是 本 原 8 次 单位 根 , 但 是 w? 不 
Bi Sn > TN, Fl w AR n AMER 是 , 这 是 因为 它 也 是 4 次 单位 根 
中 = e-2ri/n, 则 有 

1+w+w2 二 wa 十 .… 十 wn-l= 0， (10.3) 


这 个 等 式 可 以 通过 下 面 的 伸缩 和 (telescoping sum) 证 得 
(wl+wutw tw t+w" !)=1—-w"=0. (10.4) 
因为 左边 第 一 项 不 是 零 , 所 以 第 二 项 必须 是 零 . 使 用 同样 的 方法 可 以 证 明 
1+w2+w4 十 w6 十 … 十 wz 二 0， 


1443 Hwt +09 +--- +03") =0 
(10.5) 


1 二 wn-1 十 wz2n-D 二 wa- 十 .十 wm-Do-D = 0. 
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最 后 一 个 等 式 与 以 上 不 同 , 是 
Lt" +?" + 8" 4 wD H14141414---41=7. (10.6) 


依据 以 上 这 些 信息 , 可 得 以 下 引 理 . 
引 理 10.1 (本 原单 位 根 ) Rw 是 一 个 本 原 m 次 单位 根 ,大 是 整数 那么 


n-1 k 
kofa 如 果 和 是 整数 ， 
{ 0， 否则 . 


习题 6 要 求 读者 给 出 证 明 的 细节 . 
10.1.2 ”离散 Fourier 变换 

设 z = [zo,… r an] 是 一 个 (RE) n 维 向 量 , 记 为 w = emn, 下 面 是 本 
章 的 基本 定义 . 

定义 10.2 x= [zo,… ,zn_1] 人 的 离散 Fourier 变换 (DFT) 是 n 维 向 量 
Y = [yoy… ,Yn-1], 这 里 w = e7, 


n-1 
1 jk 

Yk = -一 J aw, (10.7) 
vn = 


例如 , 引 理 10.1 表明 , = = [1,1,… ,1] A DFT 是 y= [Vn,0,… , 0]. 用 矩阵 表 
示 , 这 个 定义 表明 


w w wf PE w? 
Yo ao + ibo wo wl w? wn-1 To 
yı a, +ibi 1 | w? wh vee y(n) vy 
ya |=| a2tib |= Va jw ud w ee y(n) T2 
Yn—1 an-ı +ibn-1 0 uni gat)... yii? | Len-1 
(10.8) 
每 一 个 yk = ak + ibr 是 一 个 复数 .(10.8) 中 的 n x n 矩阵 叫做 Fourier 和 矩阵 
wW wo w? oe w? 
本 woe gt 
1 UP ag? wt cee yan) 
F= Val oo w wê see wO- (10.9) 


w® wl wAn- wl) 
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除了 第 一 行 外 , Fourier 矩阵 的 每 一 行 加 起 来 都 等 于 零 . BAF, 是 对 称 矩 阵 , 所 以 
对 于 列 也 同样 如 此 . Fourier ERA ERWEE 


w? wo wo aa wo 
w wot wn? cee wn-l) 

4 1 |w ww? w4 a w72) 

Fa Smal vs w6 xa w73) |e (10.10) 
w® wD) wn- wn 


并 且 向 量 y 的 逆 离 散 Fourier 变换 是 z = Fly. (10.10) 是 矩阵 Fn HUER, 验 
证 这 一 点 需要 有 关 n 次 单位 根 的 引 理 10.1. 见习 题 8. 

Ü z = e = cosd+isind 是 单位 圆 上 的 一 点 . 那么 它 的 倒数 e-i? = cos—isind 
WE MMSE. 因此 , 逆 DFT SPT Fn TCR NIE: 


Fy) = Fy. (10.11) 


定义 10.3 LE v 的 度量 (magnitude) 是 实数 ||v|| = VoTv. 如 果 FF = 
I, MMH F RBH (unitary). 

像 Fourier 矩阵 一 样 , PEREK TEENIE. 如 果 F ERE, 那么 
||Fv]|? = oT FP’ Fv = 5ru = |lv|l?. 因此 , 在 这 种 情况 下 , 一 个 向 量 左 乘 F 或 者 
F, 它 的 度量 不 变 . 

使 用 离散 Fourier 变换 只 是 用 n x n 矩阵 Fn 相 乘 的 问题 , 因此 需要 O(n?) 次 
运算 [明确 地 讲 , 是 n? 次 乘法 和 n(n - 1) 次 加 法 ]. 用 Fj! 相 乘 的 逆 离 散 Fourier 
变换 也 是 O(n?) 次 运算 . 在 10.1.3 节 , 我 们 建立 了 可 以 明显 减少 运算 次 数 的 DFT 
形式 , 称 为 快速 Fourier 变换 . 

例 10.1 RAM = = [1,0, 一 1,0]7 的 DFT. 

Bw 是 4 次 单位 根 , RE w = e7? = cos(Z) — isin(Z) = —i. EH DFT, 我 们 


Yo 11 1 1 1 t-I 1 1 1 0 
n|_ 1j w ww Oo} 1/1 -i -21 jo) ANY 
yw} Vali wv? wt || a| 2/1 -1 1 -1/]-1] Jo 
ys 1 w w w 0 1 i -1 -i 0 1 
(10.12) 
< 


MATLAB 命令 fft 以 稍为 不 同 的 标准 来 执行 DFT, 所 以 Fnz 是 由 fft(z)/ 
sqrt(n) RUN. Mitr ifft 是 fft MB. Alt, Fy'y 是 由 MATLAB 命 令 
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ifft(y)*sqrt(n) 来 计算 的 . 换言之, MATLAB 的 fft 和 iff BAUM. RE 
们 的 标准 与 这 里 给 出 的 定义 不 同 , 它们 具有 F 和 Fa! 是 酉 矩阵 的 优点 . 
即使 向 量 有 实数 分 量 , 也 没有 理由 使 y 的 分 量 是 实数 . 但 是 , 如 果 zi 是 实数 ， 
那么 复数 y 有 以 下 特殊 的 性 质 . ` 
引 理 10.4 it {yx} 是 {xj} 的 DFT, RB zj 是 实数 , 那么 (a) yo 是 实数 , (b) 
Yn—k = Yk(k=1,.. ,no— 1). 
证 根据 DFT 的 定义 (10.7), (a) 的 理由 很 清楚 . 这 是 因为 yo 是 zj 的 和 除 以 
Vn. 结论 (b) 是 根据 以 下 事实 得 出 的 : 


wk = @2xi(n—k)/n ~ e-2rie2xik/n 一 cos(2%k/n) + isin(2xk/n) 


其 中 


wk = e-2rik/n ~ cos(2xk/n) — isin(27k/n). 


这 就 意味 着 ur = OF, 从 Fourier 变换 的 定义 ， 
1 ?=1 1 i 1 
lk eA = F LaF = ney =e 


ERMA T LH RRUHARRH HERDER. 

引 理 10.4 有 一 个 有 趣 的 结论 . 设 n 是 偶数 , 并 且 rotni 是 实数 , 那么 
Fourier 变换 DFT 把 它们 正好 代替 成 n 个 其 他 的 实数 ao, a1,b1,az,b2,… ,a3, 即 
Fourier 变换 yo,… ,yn-1 的 实 部 和 虚 部 . 举例 来 说 , n = 8 的 DFT 有 如 下 形式 : 


4 


=O 0 Yo 
Tı a; + ib; 3 
T2 az + iba ie 
7 -1 
r| za |=] 3+ ibs | _ vy |: (10.13) 
T4 a4 m 
T5 as — ibs s= 
Te az — ibe ] : 
T7 al — ib 7 
10.1.3 ”快速 Fourier 变换 
如 10.1.2 节 提 到 的 , 以 传统 的 方式 对 n 维 向 量 用 离散 Fourier 变换 需要 O(n?) 


次 运算 , Cooley 和 Tukey”! 找到 一 种 只 需要 O(nlogn) 次 运算 来 完成 DFT HA, 
这 种 算法 称 为 快速 Fourier 变换 (FFT). 对 数据 分 析 应 用 FFT 几乎 立刻 流行 开 来 . 
信号 处 理 领域 由 于 使 用 该 算法 将 原先 的 模拟 信号 转化 为 数字 信号 . 我 们 将 解释 这 种 
方法 并 且 通 过 运算 次 数 来 说 明 它 相对 于 原本 的 DFT(10.8) 的 优越 性 . 
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亮点 ”复杂 性 

Cooley 和 Tukey 把 DFT 的 复杂 性 从 O(n?) 次 运算 减少 到 O(n Inn) 
次 运算 , 这 一 成 就 促进 了 Fourier 变换 方法 的 广泛 应 用 . 与 问题 本 身 的 大 
小 “几乎 线性 地 ”成 比例 的 方法 是 很 重要 的 . 例如 , 对 于 实时 数据 就 有 使 
用 它 的 可 能 性 . 这 是 因为 分 析 大 致 能 够 出 现在 需要 数据 的 同一 时 间 尺 度 
处 . 不 久 以 后 人 们 用 特殊 的 电路 来 实现 FFT, 现在 则 是 用 DSP 芯片 来 表 
示 FFT 这 种 芯片 广泛 应 用 于 分 析 和 控制 电子 系统 中 . 


可 以 把 DFT Fnz 写成 


ww? w? ya g 
wo wi w? aac wr) 
w w? wt see wn- 
M, = w w wô see yS(n—1) 
w? whl wan-l) wn-l)? 


我 们 将 说 明 如 何 递 推 地 计算 z = Mnz. 要 完成 DFT, 只 需要 除 以 Vn, 或 者 
y= Fna = z/ yn. 

我 们 首先 说 明 n = 4 这 种 情形 , 来 得 到 大 概 的 主要 思想 . 然后 , 推广 到 一 般 情 
形 . 设 w =e 7/4 = i, 离散 Fourier 变换 是 


20 wW wo wo ww Zo 
zı w wl w2 w Tı oM 
ze | |w w wt wo za | yy 
23 wo w wh w? T3 


写 出 矩阵 乘积 , 但 要 重新 排列 这 些 项 的 阶 , 使 得 偶数 阶 的 项 在 前 面 : 
Zo = wag + wre + w (wx, + wa), 
2 = wag 十 w2z2 +w! (way + w*z3), 
z2 = wag + wr2 +w? (ws +w*zs3), 


23 = wag + wa +w? (wx, + wz). 
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利用 wt = 1 这 个 事实 , 可 以 把 这 些 等 式 写成 


zo = (w0zo 十 wozz) + w (wr +wozs)， 
21 = (wa +29) +w (wr 十 2zs)， 
29 = (wzo + wre) + w? (way + wx), 


z3 = (wzo + wr2) +w? (wx + w2zs). 
注意 在 前 面 两 行 中 圆 括 号 中 的 每 一 项 都 与 底下 两 行 的 相同 . 定义 
uo = pao + wae, ui = pr0+ Hr2, 


0. 0, 
vo = pz + yas, vi = wa +23, 


这 里 u= w? 是 一 个 二 次 单位 根 , u = (uo, u)" K v = (vov) 实质 上 都 是 n= 2 
的 DET; 更 精确 地 讲 ， 


“| | "| |]. 
T2 T3 
可 以 把 原来 的 Maz 写成 
Zo = uo + wwo, 
21 = U1 十 wlul， 
z2 = uo + wu, 
23 = Ul + ww. 
总 之 , DFT (4) 的 计算 已 被 缩减 为 一 组 DFT(2) 的 计算 再 加 上 某 些 额外 乘法 和 加 法 . 

暂时 不 考虑 去, DFT(n) 能 够 被 缩减 为 计算 两 个 DFT(3) 再 加 上 2n 一 1 次 
额外 运算 (n-1 次 乘法 及 n 次 加 法 )， 仔 细 计 算 这 些 必 要 的 加 法 和 乘法 ,得 到 定 
理 10.5. 

定理 10.5 (FFT 的 运算 次 数 ) Kn 是 2 HR. 规格 为 n 的 快速 Fourier X 
换 可 以 用 n(2logzn 一 1) 十 1 次 加 法 和 乘法 以 及 一 次 除法 ( 除 以 Jn) 来 完成 . 

证 不 考虑 在 最 后 要 用 到 的 平方 根 . 定理 的 结果 等 价 于 : DFT (2m) 能 够 用 
2m(2m 一 1) + 1 次 加 法 和 乘法 来 完成 FKL, 当 n 是 偶数 时 , 我 们 从 上 面 看 到 如 
何 把 DFT(n) 化 成 一 对 DFT (2). wR n 是 2 OR ( 璧 如 说 n= 二 2m), 那么 可 以 
递 推 地 分 解 这 个 问题 直到 我 们 得 到 DFT (1), 这 是 用 1 x 1 atak, ATH 
次 运算 . 从 最 低 开始 , DFT (1) 无 须 进行 运算 , m DFT (2) 需要 两 次 加 法 和 一 次 乘 
法 : yo = uo + lvo, yı = uo + wo, 这 里 Uo fe vo Æ DFT (1) (BP uo = yo, vo = y1). 

DFT (4) 需要 两 次 DFT (2) ME 2 x 4 一 1 = 7 次 进一步 的 运算 , 总 共 需 要 
2(3) +7 = 2m(2m 一 1) +1 次 运算 , 这 里 m = 2. 我 们 通过 归纳 继续 : 假设 对 给 
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定 的 m, 这 个 公式 是 正确 的 , 那么 DFT(2m+1) 需要 用 两 个 DFT (2m), 它 要 进行 
2[2™(2m — 1) +1] 次 运算 , 加 上 2 x 2+) 一 1 次 额外 的 运算 [完成 类 似 于 (10.15) 这 
样 的 等 式 ], 总 共 是 


2[2™(2m—1)+1]+2™+?—1=2™+1(2m—1+2)+2—1=2™+![(2m +1)—1]+1. 


因此 , 对 于 DFT (2m) 的 快速 形式 证 得 运算 次 数 的 公式 2" (2m — 1) +1. 由 此 , 得 到 
结论 . 

不 必 做 更 多 的 工作 , 就 能 够 用 DFT 的 快速 算法 来 构造 逆 DFT 的 快速 算法 . 逆 
DFT RHH Fu 要 执行 复 向 量 y 的 逆 DPT, RARAY, 利用 FFT, 并 对 
结果 取 共 思 , 这 是 因为 

Fry = Fay = Fv. (10.15) 
习题 10.1 
. 求 以 下 向 量 的 DPT: 
(a) [0,1,0,—1]; (b) [1, 1, 1, 1}; (©) [0,—1,0,1]; (d) [0,1,0,—1,0,1,0,—1]. 
. 求 以 下 向 量 的 DFT: 


@ [haga]: © feria © be-be) 
(a) [2.0,-5,0,1,0,-$,0).. 


2 
求 以 下 向 量 的 逆 DFT: 
(a) [1,0,0,0]; (b) [1,1,-1,1; (e) [l,—i,1,il; (d) (1,0,0,0,3,0,0,0]. 
求 以 下 向 量 的 逆 DFT: 
(a) [0, —i,0,i; (b) [2,0,0,0]; (e) [lii 50, 3|: (a) biri) 


. (a) 写 出 所 有 的 4 次 单位 根 及 所 有 的 本 原 4 次 单位 根 . (b) 写 出 所 有 本 原 7 次 单位 根 . 
(c) 对 于 素数 p, 存在 多 少 个 本 原 p 次 单位 根 ? 

.证明 引 理 10.1. 

对 习题 1 中 的 Fourier 变换 , 求 如 在 (10.13) 中 的 实数 ao, a1, bi, a2,b2,--- ,aq 号 

.证 明 (10.10) 中 的 矩阵 是 Fourier 矩阵 Fn Ait. 


10.2 三 角 插 值 


离散 Fourier 变换 实际 上 能 做 什么 ? 本 节 提 出 解释 把 Fourier 变换 的 输出 向 量 
y 当 作 等 距 间 隔 的 数据 的 插值 系数 , 以 便 更 好 地 理解 它 的 工作 . 
10.2.1 DFT 插值 定理 

设 [c,d] 是 一 个 区 间 , n 是 一 个 正 整数 . 定义 At = (d — c)/n, UR tj = e+ 


m 


N 


p 


全 


a 


mw ae 
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jAt(j = 0,… ,n 一 1) 是 区 间 中 等 距 间 隔 的 点 . 对 于 Fourier 变换 给 定 的 输入 向 量 
z, 我 们 将 把 分 量 zj 解释 为 所 测量 信号 的 第 7 个 分 量 . 例如 , 可 以 把 = 的 分 量 想象 
成 一 系列 在 离散 的 等 距 间 隔 时 间 t; 处 测 得 的 度量 , 如 图 10-4 所 示 . 


“OD h b&b hb eT 
图 10-4 zx 的 分 量 看 作 时间 序 列 ，Fourier 变换 是 一 种 计算 插值 了 这 种 
数据 的 三 角 多 项 式 的 方法 


设 y= Fnz 是 z 的 DFT. 因为 z Æ y KM DFT, 所 以 我 们 可 以 从 (10.10) 写 
出 z 的 分 量 的 显 式 公式 , WE w = e235/": 


-72 Fuery = Ae nein = Ent 


我 们 能 够 把 它 看 成 点 (tj rj) 用 三 角 基 函 数 的 插值 , 这 里 的 系数 是 y. 定理 10.6 是 
(10.16) 的 简单 复述 , 表明 用 基 函 数 ei2rk(t-e/e-eo/vVF (k = 0,… ,n 一 1) 对 数据 点 
(tj zj) 进行 插值 , 其 插值 系数 由 Fnz 给 出 . 

定理 10.6 (DFT 插值 定理 ) HRR [cd] 及 正 整 数 n. Ht; =c+j(d- 
c)/n(j =0,…,n 一 1), 并 设 工 二 (Zo,… oni) RH 个 数 的 向 量 . 定义 五 十 下 一 
Fns, 这 里 Fn 是 离散 Fourier KRM, 那么 复 函 数 


ankay =o 


(10.16) 


n-1 
Q(t) = 去 Lt + ibp e2*e(t-e)i/(d—e) 
WA Q(t) = zj( = 0,… ,n 一 1). MA, 如 果 zj 是 实数 , PAT BR 


P(t) = HÈ (seo a(t t- —c) -orsin HE =) 


MA P(t;) = zj j=0, n- 1. 
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HAZ, Fourier 变换 F, 把 数据 {xj} 变换 成 插值 系数 . 
该 定理 的 最 后 部 分 的 解释 是 , 利用 Euler 公式 , 我 们 可 以 把 插值 函数 (10.16) 重 
新 写成 


Q(t) = ad Te + ibe) (= td = =e) +isin at) , 


把 插值 函数 Q(t) = P(t) + I(t) 分 成 实 部 和 虚 部 . 因为 zj 是 实数 , AA Q(t) WH 
部 需要 插值 zj. 实 部 是 


EE i E =). (10.17) 


P() = Palt)= Ja (ao 


这 里 的 下 标 n 表示 这 个 三 角 型 式 中 的 项 数 . 我 们 有 时 将 称 已, 是 n HERB 
数 . 引 理 10.4 及 下 面 的 引 理 10.7 可 以 用 来 进一步 简化 插值 函数 P,, (t). 
引 理 10.7 KRt= 1, RV j 和 nn 都 是 整数 . Rk 是 整数 那么 


cos 2(n — k)nt = cos2kxt, sin 2(n — k)xt = — sin 2kat. (10.18) 


事实 上 , 由 余弦 加 法 公式 得 到 cos 2(n—k)xj/n=cos(2nj—2jkx/n) =cos(—2jkn/ 
n). 对 正弦 有 类 似 的 结论 . 

引 理 10.7 和 引 理 10.4 一 起 表明 , 三 角 展 开 式 (10.17) 的 后 半 部 分 是 多 余 的 . 我 
们 可 以 只 用 前 半 部 分 的 项 在 tj 处 插值 (除了 改变 正弦 项 的 符号 ). 根据 引 理 10.4, 展 
开 式 的 后 半 部 分 的 系数 与 前 半 部 分 的 系数 相同 (除了 改变 正弦 项 的 符号 ). 于 是 符 
号 的 改变 使 得 正弦 项 互相 抵消 , 这 样 我 们 已 经 证 明了 Pr 的 简化 形式 是 

n/2-1 - = 7 

P(t)= te 2 (o cos 2 z 2) 一 pk sin Bente z 2) + a cos malt 2, 
为 了 写 这 一 个 表达 式 , 我 们 已 经 假定 n 是 偶数 . 对 n 是 奇数 , 公式 稍 有 不 同 . 见习 
题 7. 

推论 10.8 ”对 于 偶数 n, $ tj = c+ jd- c)/n (i = 0,…,n 一 1), HR 
@ = (Z0,… ,Zn_1) 表示 n 个 实数 的 向 量 ， ZLG+b = Fnr, 这 里 Fn 是 离散 
Fourier 变换 , ABA HA 


n/2—1 


— 9 2 2kn(t—c) , . 2ka(t—c) an/2 nx(t —c) 
Pil) = Tet Ta L (orcos = by sin = + M Y Ene 
(10.19) 


满足 Paltj) = Tjj =0,--- ,-n—1. 
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例 10.2 Xt) 10.1, 求 三 角 插 值 . 

区 间 是 [c,d] = [0,1]. 设 x = [1,0, 一 1,0]T, 并 且 计算 它 的 DFT Æ y = [0,1,0， 
1". 插值 系数 是 uk 十 iik = yx. 因此 , ao = az = 0,01 = a3 = 1, bo = bı = bz = b3 = 0. 
根据 (10.19), 我 们 只 需要 ao, 01,02 和 bh.z 的 三 角 插 值 函数 由 下 式 给 出 : 


P,(t)= 2 十 (al cos 2rrt — b; sin 2rrt) + 2 cos 4nt = cos 2xt. 


点 (t,x) 的 插值 如 图 10-5 所 示 , XE t= (0,1, 4, 3), æ = [1,0, —1, 0). < 


图 10-5 三 角 插 值 . 输入 向 量 = 是 [1,0, -1 07, 公式 (10.19) 给 出 的 插 
值 函数 是 P(t) = cos 2at 


例 10.3 XFA 4.6 中 的 温度 数据 2 = [一 2.2, 一 2.8, 一 6.1, 一 3.9, 0.0, 1.1, —0.6, 
一 1.1], 求 在 区 间 [0,1] 上 的 三 角 插值 . 


Fourier 变换 输出 , 精确 到 4 位 小 数 是 


—5.515 4 

—1.052 8 + 3.619 5i 
1.591 0 — 1.166 7i 

—0.502 8 — 0.269 5i 

一 0.777 8 

一 0.502 8 十 0.269 5i 
1.591 0 十 1.166 7i 

一 1.052 8 十 3.619 5i 


按照 公式 (10.19), 插值 函数 是 


一 5. .61! E 5 
Ps(t) = r Sad 3 8 cosant—2 = 5 gin Ont-+ = a 0 cos4nt+ 1 n T 
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0.777 
— OSES cos at + A sin nt — cos iat 
= — 1.95 — 0.744 5 cos 2nt — 2.559 4sin 2rrt + 1.125 cos4at + 0.825 sin 4rrt 
— 0.355 5 cos 6xt + 0.190 6 sin 6xt — 0.275 0 cos 8zt. (10.20) 
图 10-6 显示 了 数据 点 以 及 三 角 插值 函数 . < 


Co kkk 

图 10-6 例 4.6 中 数据 的 三 角 揪 什 使 用 n = 8 的 Fourier 变换 来 插 
值 数据 t = [0， ], æ = [-2.2, —2.8, —6.1, -3.9, 
0.0, 1.1, —0.6, “ll. 人 


10.2.2 ”三 角 函 数 的 有 效 求 值 

推论 10.8 是 关于 插值 的 重要 声明 . 尽管 初 看 起 来 它 似乎 复杂 , 但 有 另 一 种 方 
法 来 求 值 和 绘制 图 10-5 和 图 10-6 中 的 三 角 插 值 多 项 式 , 即 用 DFT 来 做 所 有 的 工 
作 而 不 是 绘制 (10.19) 中 的 正弦 和 余弦 曲线 . 毕竟 我 们 从 定理 10.6 知道 , 把 数据 向 
量 e RU F 就 把 数据 变 成 插值 系数 ， 反 过 来 , 我 们 可 以 把 插值 系数 转化 成 数据 
点 . 不 是 求 (10.19) 的 值 , 仅仅 是 把 DFT 倒 过 来 : 把 插值 系数 {ax + ide} 的 向 量 乘 
以 Fi. 

当然 , 如 果 在 运算 Fn 之 后 运算 它 的 逆 Fi1, 我 们 就 只 是 回 到 了 原来 的 数据 点 . 
恰恰 相反 , 我 们 将 设 p > n 是 一 个 更 大 的 数 . 我 们 打算 把 (10.19) 看 作 一 个 p 阶 三 
角 函 数 , 然后 把 Fourier 变换 反 过 来 求 曲线 在 p 个 等 距 点 处 的 值 . 可 以 把 p 取得 足 
够 大 以 得 到 看 似 连 续 的 图 . 

把 Palt) 的 系数 看 成 一 个 p 阶 三 角 多 项 式 的 系数 , 注意 , 我 们 可 以 把 (10.19) Æ 
新 写成 

_VEa 2°27 fp 2kn(t — c) P, . 2kn(t—c) 
P(t) at We 2 (Yorcom [Bain E) 


=l 


VEan/2 
cos nxt, (10.21) 
vP 
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这 里 置 a, = bk = 0 (k = 和 +1…，, 引 .我 们 从 (10.21) 得 出 结论 : 产生 落 在 
ty =c+j(d—o)/n (j =0,--- ,n—1) 的 曲线 (10.19) 的 p 个 点 的 方法 就 是 , 用 VE 
HE Fourier 系数 然后 再 求 DFT 的 逆 . 

我 们 写 出 MATLAB 代码 来 实现 这 种 想法 . 粗略 地 讲 , 我 们 想 用 MATLAB 命令 


fft 和 ifft 执行 
-1 [P 
Fr (Ere, 


= 1 
F;'= yp- ifft, Fn= Jate 


这 里 


把 这 两 部 分 放 在 一 起 , 就 对 应 以 下 的 运算 


A pl 卫 
vP- itt [2 fft] = 元 ifft] fft) (10.22) 


当然 , 只 能 对 长 度 为 p 的 向 量 用 F, 所 以 在 求 逆 前 , 我 们 需要 把 n 个 Fourier R 
数 放置 到 长 度 为 p 的 向 量 中 . 短程 序 dftinterp.m 执行 这 些 步骤 . 


%Program 10.1 Fourier interpolation 

%Interpolate n data points on [c,d] with trig function P(t) 

% and plot interpolant at p (>=n) evenly spaced points. 

%Input: interval [c,d], data points x, even number of data 

% points n, even number p>=n 

Output: data points of interpolant xp 

function xp=dftinterp(inter,x,n,p) 

c=inter (1) ;d=inter (2) ;t=c+(d-c)*(O:n-1)/n; tp=c+(d-c)*(0:p-1) /p; 
y=fft (x); apply DFT 

yp=zeros(p,1); % yp will hold coefficients for ifft 
yp(1:n/2+1) =y(1:n/2+1); % move n frequencies from n to p 
yp(p-n/2+2:p)=y (n/2+2:n); % same for upper tier 
% 
% 


æ 


xp=real (ifft (yp) )* (p/n); invert fft to recover data 

plot (t,x, 'o',tp,xp) plot data points and interpolant 

例如 , 运行 函数 dftinterp ([0, 1], [-2.2, -2.8, -6.1, -3.9, 0.0, 1.1, 
-0.6, -1.1], 8, 100) 并 没有 明显 地 用 正弦 和 余弦 , 就 产生 出 绘 在 图 10-6 中 的 
p = 100 个 点 . 依次 对 这 段 代码 作 一 些 说 明 . 目的 是 先 应 用 fftnj 再 应 用 ttt yy 然 
后 再 乘 以 上 . 对 z 的 个 值 应 用 fft 后 , 向 量 y 的 系数 从 Palt) 中 的 频率 n 转移 
到 持 有 频率 p 的 向 量 yp, 这 里 p > n. 在 没有 被 P, 用 到 的 频率 p 中 有 许多 更 高 的 
频率 , 这 会 导致 位 于 全 十 2 到 县 +1 的 那些 高 频率 中 的 系数 为 零 . 在 yp 的 上 半 部 
分 的 分 量 值 重复 了 下 半 部 分 的 , 按照 (10.13) 以 复 共 轿 和 逆序 形式 . 在 用 ifft 命令 
对 DFT RUZ, 尽管 理论 上 的 结果 是 实数 , 但 是 在 计算 上 , HFEA, 可 能 会 有 
小 的 虚 部 . 可 通过 使 用 real 命令 除去 它 . 
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特别 简单 的 和 有 用 的 情形 是 c= 0,d = nm， 在 整数 插值 节点 sj = jG = 
0,… ,n 一 1) 收集 数据 点 z;, 用 三 角 函 数 对 点 (J, zj) 插值 : 


n/2—1 


_ a , 2 Qkn ， ，，2kr \ any 
Pals) = Tat Ta a (ax 00s a by sin a” + Vm e. (10.23) 


在 第 11 章 , 为 了 与 通常 的 声音 与 图 像 数据 的 压缩 算法 相 容 , 我 们 将 完全 使 用 整数 
插值 节点 . 
习题 10.2 

1. 用 DFT 和 推论 10.8, 对 以 下 数据 求 三 角 插值 函数 : 


watje: œ (d) 二 | = 
ofo of1 
1 iji 
0 去 | 1 
3 |1 
2. 利用 (10.23), 求 以 下 数据 的 三 角 插值 函数 : 
(a) t| z (b) t| z (ec) t|z (d) tlz 
o|o of 1 ofi ofi 
1 1 1 1 1/2 1/0 
2] 0 2} 2/4 2/1 
3] 3|-1 3/1 3|0 
3. 求 以 下 数据 的 三 角 插值 函数 : 
waz 十 | (9 二 | (dh 二 | 
ojo ofi ofa ol1 
a] a] 2 3 {2 3 | 
a | 0 a] 1 rae a} il 
ja jo 3] 1 3) -1 
去 | 0 去 | 1 去 | 0 $] 1 
ia il2 i aya 
3|0 对 | 1 ło ?| 1 
和 | 二 |0 z|o a|- 


4. 求 以 下 数据 的 三 角 插值 函数 : 


角 插值 函数 Ps (t): 
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5. E n 是 奇数 的 情形 下 , 求 插值 函数 (10.19) 的 形式 . 


第 10 章 
1. 求 下 列 数据 的 8 Br. 


计算 机 问题 10.2 


446 


PS] ale ate oo -In oo eoe ral 


| Stee ie o mia oo eie sa 


角 插值 函数 Ps(t): 


seoavoan-nor 


SCH NM YT MON 


eee O nto ni nla nie oto te nie 


绘 出 数据 点 及 Ps (t) 
2. 求 下 列 数据 的 8 Br. 
=] 


角 插 值 函数 . 


4. 对 (a) n = 16, (b) n = 32, 绘 出 计算 机 问题 3 中 在 [0, 1] ERRER Pa(t), 以 及 数据 


,7) W n = 8 阶 的 三 


e. 


绘 出 数据 点 及 Pelt). 
3. R 1(t) = et ESEA ($, 了 (j/8)) G =0,--- 


点 及 f(t) 
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5. R f(t) = lnt 在 等 距 间 隔 点 (1+ 2, f(1 + 2))G = 0,… ,7) 的 8 阶 三 角 插 值 函数 , 并 给 
出 f(t). 数据 点 和 插值 函数 . 

6. 对 (a) n= 16, (b) n = 32, 绘 出 计算 机 问题 5 中 在 (0,1) 上 的 插值 函数 P(t), 以 及 数据 
点 及 f(t) = Int. 


10.3 FFT 和 信号 处 理 


DFT 插值 定理 10.6 只 不 过 是 Fourier 变换 的 一 种 应 用 . 本 节 从 更 一 般 的 观点 
来 考虑 插值 , 这 种 观点 将 证 明 如 何 利用 三 角 函数 来 求 最 小 二 乘 近似 这 种 想法 形成 
了 现代 信号 处 理 的 基础 . 它们 将 在 第 11 章 中 第 二 次 出 现 , 用 于 离散 余弦 变换 . 


10.3.1 ” 正 交 性 和 插值 


根据 Fi! = FD = En 这 使 得 Fn 是 西 矩 阵 , 因此 定理 10.6 中 貌似 简单 的 插 
值 结果 成 为 可 能 . 我 们 在 第 4 章 中 遇 到 了 这 个 定义 的 实 形式 , WR U = UT, 我 
们 就 称 矩阵 U 为 正 交 阵 . 现在 我 们 研究 正 交 矩 阵 的 一 种 特殊 形式 , 它 将 马上 转化 
为 一 种 好 的 插值 . 

定理 10.9 ( 正 交 函数 插值 定理 ) it fo(t),… ,fn_i(t) Rt HRK, 而 且 
t0,… ,tn-1 是 实数 . 假设 xm EE 


folto) folti) … fo(tn—1) 
filto) falta) > filtn-1) 


= (10.24) 


Fn-i(to) fn-ilti) = fn-1(tn-1) 
是 实 nXn ERER. Ry 二 Ar, 那么 函数 


n-1 
F(t) = Y ufelt) 
=0 


在 (tozo)…… ;人 (如 -lzn-1) 处 播 值 , 即 (ts) = zj, j =0,--+,n-1. 
证 = 4z 这 个 事实 表明 


z= Ay = 47y， 
由 此 得 到 
n-1 n-1 
Tj = Do ajy = So uefelts), j=0, ,nl 
k=0 一 0 


这 就 完成 了 证 明 . 
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例 10.4 # [c,d] BRA, n 是 正 的 偶数 .证 明 对 tj = c+ j(d—c)/n(j = 
0,… ,n 一 1), 满足 定理 10.9 的 假设 , 并 且 


no= yi, 

NO = fiata, 
nO- fita, 
fl = y Zata, 


hat) = po 2) 


ga 


矩阵 是 
1 1 1 
vi 5 人 Va 
1 cos ss cos 2221) 
a=? 0 sin oes snaga ; (10.25) 
h pos … Fanai 
引 理 10.10 表明 , A 的 行 两 两 正 交 . < 
引 理 10.10 设 n>1,k,l 是 整数 ,那么 
ei anik anii n, 如 果 (kk 一 中 /n 与 (k 十 有 )/n 都 是 整数 ， 
D cos FE co SY = 号， 如 果 (g 一 1)/n 与 k 十 D)/n 中 恰 有 一 个 是 整数 ， 
j=0 0， 如 果 两 个 都 不 是 整数 ， 
n-i 
S oos iE ani in Til 2 
j=0 
0， ”如 果 (上 一 1)/n 与 (上 十 1)/n 都 是 整数 ， 
n=l 


> sin 27K ak Re Qnjl_ J 有 žk- 1)/m 是 整数 但 (大 十])/m 不 是 ， 
n 8, 如 果 (k 十 1)/n 是 整数 但 (k 一 1)/n 不 是 ， 
Ò ”如 果 两 个 都 不 是 整数 . 


j=0 
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根据 引 理 10.1 可 得 到 这 个 引 理 的 证 明 . 见习 题 5. 
现在 回 到 例 10.4, 设 y = Az, 定理 10.9 马上 给 出 点 (ti) 的 插值 函数 


F(t)= Zo 
+n cos at-a + "E sin ato 
= = 10.26 
+ [ances ee -9 + Zusia SE -9 (10.26) 
+g- cos na(t to), 
与 (10.19) 相 一 致 . 


例 10.5 ”使 用 例 10.4 的 基 函 数 , 对 例 10.3 中 的 数据 点 z = [一 2.2, 一 2.8, —6.1, 
—3.9, 0.0, 1.1, 一 0.6, 一 1.1] 进行 插值 . 
计算 8 x 8 矩阵 4 与 z 的 乘积 , 得 到 


a a a eo Fe 一 2.2 一 5.515 4 

1 cos2n$ cos2nZ ... cos2x3 _2.8 _1.488 9 

0 sin2xn# sin2xg ---  sin2nf -6.1 5.118 8 

ess 2 1 cosdn$ cosdng +: cos4nx? 一 3.9 _| 2.2500 
8| 0 sindxg sindnZ ---  sindnZ 0.0 1.650 0 

1 cos6n$ cos6ng --- cos6nZ 1.1 —0.711 1 

0 sin6n# sin6ng --- sin6xZ 一 0.6 0.381 2 

VE post Yqcos2n …， 遍 cos7r =l —0.777 8 


公式 (10.26) 给 出 插值 函数 


P(t) =~—1.95 一 0.744 5cos2rt 一 2.559 4sin 2rrt + 1.125 cos 4nt + 0.825 sin 4nt 
一 0.355 5 cos 6rt + 0.190 6 sin 6rrt — 0.275 0 cos 8xt, 


这 与 例 10.3 相 一 致 . < 
10.3.2 ”用 三 角 函 数 进行 最 小 二 乘 拟 合 
推论 10.8 说 明 DFT 如 何 用 以 下 形式 的 三 角 函 数 


2-1 


an 
Palt) = mat Ae = (ax cos 2kxt — bk sin 2kxt) + Vi cosnmt, (10.27) 
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使 得 对 [0,1] 上 n 个 等 距 间隔 的 数据 点 的 插值 变 得 容易 . 


Rm EZH 

在 第 4 章 , 为 了 求解 由 基 函 数 表 示 的 数据 的 最 小 二 乘 近似 , 我 们 建立 
了 正规 方程 ATAz = ATb. 定理 10.9 的 关键 是 求 出 使 正规 方程 简单 的 特 
殊 情 形 , 大 大 地 简化 了 最 小 二 乘 的 过 程 . 这 就 导出 了 极为 有 用 的 所 谓 正 交 
函数 的 理论 . 主要 例子 包括 本 章 的 Fourier 变换 和 第 11 章 的 余弦 变换 . 


注意 项 数 n 等 于 数据 点 的 数目 (本 章 通常 假定 n 是 偶数 ). 数据 点 愈 多 , 帮助 
插值 所 加 的 余弦 和 正弦 函数 愈 多 . 

如 我 们 在 第 3 章 发 现 的 , 当 数 据点 的 数目 n 较 大 时 , 精确 地 拟 合 模型 变 得 很 少 
见 . 事实 上 , 模型 的 一 般 应 用 是 为 了 把 事情 简单 化 而 忽略 少数 细节 (有 损 压 缩 ). 在 
第 4 章 讨论 过 的 放弃 插值 的 第 二 个 原因 是 数据 点 本 身 被 假设 为 不 准确 的 , 因此 插 
值 函 数据 的 严格 执行 是 不 合适 的 . 

这 两 种 情形 启发 我 们 用 (10.27) 这 种 类 型 的 函数 进行 最 小 二 乘 拟 合 . 由 于 在 模 
型 中 系数 ok 和 bk 是 线性 的 , 我 们 可 以 用 第 4 章 所 叙述 的 相同 程序 进行 , 用 正规 方 
程 求解 最 佳 系数 . 当 这 样 尝试 时 , 我 们 发 现 一 个 意外 的 结果 , 它 正 好 把 我 们 送 回 到 
DFT. 


可 到 定理 10.9, 设 ”表示 数据 点 zj 的 个 数 , 为 了 简单 ,我 们 认为 数据 点 出 现在 
[0, 1 中 等 距 的 时 间 点 tj = 2 上 . 我 们 将 引入 正 的 偶数 m 来 表示 在 最 小 二 乘 中 使 
用 的 基 函 数 的 个 数 . 也 就 是 我 们 将 拟 合 前 m 个 基 函 数 fo(t),… , fm-1(t). 用 来 拟 
合 n 个 数据 点 的 函数 将 是 


Pm(t) = So ce felt), (10.28) 


kt=0 

这 里 cx 是 需要 确定 的 . 当 m = n 时 , 这 个 问题 仍 是 插值 . 当 m < n 时 , 问题 已 经 

改变 成 压缩 问题 . 在 这 种 情形 下 , 我 们 要 求 以 最 小 的 平方 误差 用 Pra 来 匹配 数据 点 . 
最 小 二 乘 问题 是 求 系数 co,… ,cm-1, 使 得 等 式 


m-l 
Y ce felts) = 2; 
k=0 
满足 尽 可 能 小 的 误差 . 用 矩阵 表示 ， 
4Tc=z， (10.29) 


这 里 Am 是 4 的 前 m 行 的 矩阵 . 在 定理 10.9 的 假设 下 , An 有 两 两 正 交 的 列 . 当 
对 c 建立 正规 方程 


AmATc = ns 
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BY, Am Ay, 是 单位 矩阵 , 因此 最 小 二 乘 解 
c= Ane (10.30) 


是 容易 计算 的 . 我 们 已 证 明了 以 下 有 用 的 结果 , 它 推广 了 定理 10.9. 
定理 10.11 ( 正 交 函 数 最 小 二 乘 近 似 定理 ) Am<n 是 整数 , 并 且 假设 给 定 


了 数据 (to,Z0),… , (tn_1,Zn-1). $ y = Aw, RBA 是 形式 为 (10.24) HERB 
E. MRARF RBH folt) fnit) 的 插值 多 项 式 是 
nol 
Fat) =o vr felt), (10.31) 
=0 


并 且 仅 用 函数 f0,… , fm-1 的 最 佳 最 小 二 乘 近 似 是 
m-l 
Fmlt) = 》 vr fe(t). (10.32) 


k=0 

这 是 一 个 极 好 而 有 用 的 事实 . 它 说 明 , 给 定 n 个 数据 点 , 要 求 用 m < n 项 拟 合 
数据 的 最 佳 最 小 二 乘 三 角 函 数 , 那么 用 n 项 计算 实际 的 内 插 , 而 且 只 要 保持 需要 的 
前 m 项 就 足够 了 . 换言之 , 当 项 从 最 高 频率 降低 时 , 关于 z 的 插值 系数 Aw 尽 可 
能 适度 地 减少 . 在 n 项 展 式 中 保持 m 个 最 低 项 保证 了 可 能 与 m 个 最 低频 率 项 的 
最 佳 拟 合 . 这 种 性 质 反 映 了 这 些 基 函数 的 “ 正 交 性 ”. 

前 面 定理 10.11 的 论证 容易 被 修改 以 证 明 更 一 般 的 事情 . 我 们 说 明了 对 前 m 
个 基 函 数 如 何 求 最 小 二 乘 解 , 但 是 实际 上 , 阶 并 不 相关 ; 我 们 可 能 已 经 确定 了 基 函 
数 的 任 一 子 集 . 通过 简单 地 去 掉 (10.31) 中 不 包含 在 这 个 子 集 内 的 所 有 项 求 出 了 最 
NZR. 形式 (10.32) 是 一 种 “ 低 通 度 ” 滤波 器 , 即 假定 较 低下 标的 函数 具有 较 低 
“频率 "; 但 是 通过 改变 所 保存 的 基 函 数 子 集 , 我 们 可 以 简单 地 丢掉 不 想 要 的 系数 而 
保留 任何 有 兴趣 的 频率 . 

现在 我 们 回 到 三 角 多 项 式 (10.27) 并 且说 明 如 何 对 n 个 数据 点 进行 m 阶 形式 
的 拟 合 , 这 里 m< n. 使 用 的 基 函 数 是 例 10.4 中 满足 定理 10.9 的 假设 的 函数 . E 
理 10.11 表明 , 无 论 什 么 插值 系数 , 通过 丢掉 所 有 高 于 m 阶 的 项 就 求 得 最 佳 m Br 
最 小 二 乘 近似 . 我 们 已 经 获得 以 下 应 用 . 

推论 10.12 设 [c,d] 是 一 个 区 间 , A m <n 是 正 的 偶数 , x = (ZT0,… ,Tn-1) 
是 一 个 n 维 实 向 量 , HH tj =ct+j(d—c)/n,j 二 0,…,n 一 1. 设 


{ao, a1,b1, a2, ba ,ag—-1,bg-1,ag} = Fns 
ARF 工 的 插值 系数 , 使 得 


ao 2 


vn WE 


2kx(t; — . 2kx(t; — 
zj = Pn(t;) = (ax cos hin “ta =e) 
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a; n-o 
SS. 


es A TET E A 
ta i- j=0,---,n-1, 
那么 
2 2kn(t 一 o) 2kn(t 一 o) (t — c) 
_ a m(t—c)_, . 2kn(t—c)\ ag nn(t—o 
Pal) = At (ax cos aoe bk sin dae Je cos d=e 


是 对 数据 (tj rj) 7 二 0,… ,n 一 1 的 最 佳 m HR)DARMFS. 

体会 定理 10.11 的 能 力 的 另 一 种 方法 是 , 把 它 与 我 们 前 面 对 最 小 二 乘 模型 已 经 
使 用 过 的 单项 式 基 函 数 进行 比较 . 拟 合 了 点 (0, 3), (1,3), (2,5) 的 最 佳 最 小 二 乘 抛物 
线 是 y = z? —2 +3. RAZ, 模型 y = a 十 bz + co? 关于 这 组 数据 的 最 佳 系数 是 
a=3,b= -lc=1( 在 这 种 情形 下 , 因为 平方 误差 是 零 , 它 就 是 插值 抛物 线 ). 现在 
让 我 们 对 基 函 数 的 一 组 子 集 进 行 拟 合 : 辟 如 说 把 模型 变 成 y = a + bz. 我 们 计算 出 
最 佳 线性 拟 合 是 a = §,b = 1. 注意 , 对 于 一 次 拟 合 的 系数 与 对 于 二 次 拟 合 的 对 应 系 
数 没有 明显 的 关系 . 这 一 点 恰 是 对 于 三 角 (函数 ) 基 函 数 不 发 生 的. 对 形式 (10.28) 
的 插值 拟 合 或 者 最 小 二 乘 拟 合 明显 包含 了 关于 较 低 阶 最 小 二 乘 拟 合 的 全 部 信息 . 

因为 利用 了 极 简单 的 DFT 来 求解 最 小 二 乘 , 所 以 写 一 个 计算 机 程序 执行 这 些 
步骤 特别 简单 . 设 m <n < p 是 整数 , 这 里 n 是 数据 点 个 数 , m 是 最 小 二 乘 三 角 模 
型 的 阶 数 , p 控制 最 佳 模型 的 曲线 图 的 分 辩 率 . 可 以 把 最 小 二 乘 理解 成 把 n 阶 插值 
式 的 最 高 频率 项 “过 滤 掉 ”, 仅仅 留 下 最 低 的 m 个 频率 项 . 这 解释 了 以 下 MATLAB 
函数 的 名 称 . 


% Program 10.2 Least squares trigonometric fit 
% Least squares fit of n data points on [0,1] with trig function 


% where 2 <=m <=n. Plot best fit at p (>=n) points. 
% Input: interval [c,d], data points x, even number m, 
% even number of data points n, even number p>=n 


% Output: filtered points xp 
function xp=dftfilter(inter,x,m,n,p) 
c=inter (1); d=inter (2); 


t=c+(d-c)*(0:n-1)/n; % time points for data (n) 
tp=c+(d-c) *(0:p-1)/p % time points for interpolant (p) 
y=fft(x); % compute interpolation coefficients 
yp=zeros(p,1); % will hold coefficients for ifft 
yp(1:m/2)=y(1:m/2); % keep only first m frequencies 
yp(m/2+1)=real(y(m/2+1)); % since m is even, keep cos term only 
if (m<n) % unless at the maximum frequency, 

yp (p-m/2+1) =yp(m/2+1); g add complex conjugate to 
end % corresponding place in upper tier 
yp (p-m/2+2:p)=y(n-m/2+2:n); % more conjugates for upper tier 
xp=real (ifft(yp))*(p/n); % invert fft to recover data 
plot (t,x,'o',tp,xp) % plot data and least square approx 


例 10.6 用 4 阶 和 6 阶 最 小 二 乘 三 角 函 数 , WAH 10.3 中 的 温度 数据 . 
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推论 10.12 的 关键 点 是 我 们 可 以 仅 用 五, 对 数据 点 插值 , 然后 丢掉 一 些 项 以 得 
到 较 低 阶 的 最 小 二 乘 拟 合 . 例 10.3 得 到 的 结果 是 
Pa(t) = — 1.95 — 0.744 5 cos 2t 一 2.559 4sin 2rt + 1.125 cos 4mt + 0.825 sin Amt 
— 0.355 5 cos 6xt + 0.190 6 sin 6nt — 0.275 0 cos 87t. (10.33) 
因此 , 4 阶 和 6 阶 的 最 小 二 乘 模型 是 
P4(t)=—1.95 — 0.744 5cos2rt — 2.559 4sin 2rrt + 1.125 cos nt 
Po(t) =—1.95 — 0.744 5 cos 2nt — 2.559 4 sin 2nt 
+1.125 cos 4t — 0.825 sin 47t 一 0.355 5 cos 6zt. 
10-7 表示 这 两 种 最 小 二 乘 模型 , 分 别 对 m = 4 及 m = 6, 它们 由 
dftfilter([0,1], [-2.2,-2.8,-6.1,-3.9,0.0,1.1,-0.6,-1.1],m, 8,200) 


产生 . m= 4 的 拟 合 与 在 例 4.6 HERM 1, cos 2xt, sin 2rt, cos nt 执行 并 在 
图 4-5b 中 绘 出 的 显 式 最 小 二 乘 拟 合 相 匹配 . . < 


Meth ht hk ht 

图 10-7 例 10.6 的 最 小 二 乘 三 角 拟 合 . 表示 m = 4( 实 曲线 ) 和 m = 
6( 虚 曲线 ) 的 拟 合 . 输入 向 量 = 是 [一 2.2, 一 2.8, 一 6.1, —3.9, 0.0, 

1.1, 一 0.6, -1.17. m = 8 的 拟 合 是 三 角 插值 , 如 图 10-6 所 示 


程序 dftfilter.nm 可 以 变 得 更 有 效 . CHE n 阶 插值 , 然后 把 n-m 个 系数 略 
去 不 计 . 当然 , Fourier MEF, 表明, 如 果 只 想 知道 n 个 数据 点 的 前 m 个 Fourier 
系数 , 我 们 可 以 仅 用 Fn 的 前 m 行 与 = 相 乘 并 把 它 留 在 那里 . 换言之 ,用 mxn T 
矩阵 代替 ”xm ERE Fa 就 足够 了 . 一 种 改进 形式 的 dftfilter .nm 可 能 利用 这 个 
事实 . 

10.3.3 声音、 噪声 和 滤波 


10.3.2 WH) dftfilter.m 代码 是 对 应 用 广泛 的 数字 信号 处 理 的 一 种 介绍 . 我 
们 用 Fourier 变换 把 信号 {zo,… ,zn-1} 从 “时 域 ” 转变 到 较 易 操作 的 “ 频 域 ". 当 
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完成 想 要 的 改变 时 , 我 们 通过 逆 FFT 把 信号 送 回 时 域 . 

OR z 表示 音频 信号 , 那么 基于 听觉 系统 的 构造 方法 , 这 是 有 益 的 . 人 耳 包 括 
对 频率 产生 感应 的 结构 , 所 以 在 频 域 中 构造 块 恰恰 是 意义 深远 的 . 我 们 将 通过 引入 
某 些 音频 和 信号 处 理 的 基本 概念 和 一 些 方便 的 MATLAB 命令 来 说 明 这 一 点 . 

音频 信号 由 一 组 用 时 间 指 示 的 实数 组 成 . 每 一 个 实数 表示 一 种 声音 强度 . 当 一 
种 音频 信号 回放 时 , 发 音 者 的 头 振动 使 得 振幅 与 信号 匹配 , 造成 周围 空气 以 相同 的 
频率 振动 . 当 声 波 传播 到 你 耳 条 时 , 你 感觉 到 声音 . 

我 们 选取 Matias 提供 的 Handel 的 哈 利 路 亚 合唱 曲 (Hallelujah Chorus) 的 
最 初 9 秒 钟 的 音频 信号 为 作 样本 . 图 10-8 中 的 曲线 表示 文件 的 最 初 28 = 256 个 
值 , 它们 是 由 声音 强度 组 成 . 音乐 的 抽样 速度 是 223 = 8 192 Hz, 意 即 相当 于 等 距 间 
隔 每 秒 213 的 速度 的 强度 . 为 了 获取 信号 , 输入 


>> load handel 


把 变量 F, 和 y 放 入 工作 空间 . 前 一 个 变量 是 抽样 速度 F, = 8 192. 变量 y 是 包含 
声音 信号 且 长 度 为 73 113 的 向 量 . MATLAB 命令 


>> sound(y,Fs) 


如 果 可 行 的 话 , 以 正确 的 抽样 速度 Fe 在 你 的 计算 机 扬声器 上 播放 信号 . 

可 以 用 哈 利 路 亚 合唱 曲 的 数据 执行 推论 10.12 中 的 滤波 . 用 dftfiter.nm 处 理 
信号 的 最 初 n= 256 个 样本 以 及 m = 64 及 m = 32 NERA, 结果 如 图 10-8 中 的 
实 线 所 示 . 读者 可 能 想 要 研究 其 他 音频 文件 的 滤波 . 

一 种 普通 的 音频 文件 格式 是 .wav 格式 . 立体 声 的 .wav 文件 执行 两 对 来 自 两 
个 不 同 扬声器 的 信号 . 例如 , 用 MATLAB 命令 


>> [y,Fs]=wavread('castanets') 


将 从 文件 castanets.wav 取出 立体 声 信号 并 把 它 放 入 MATLAB (EA n x 2 E 
RE y, 每 一 列 都 是 分 离 的 声音 信号 (文件 castanets.wav 是 一 个 普通 的 音频 测试 文 
件 , 通过 网 上 搜查 容易 找到 它 ) MATLAB 命 令 wavwrite 把 过 程 反 转 过 来 , 由 简单 的 
声音 信号 产生 一 个 .wav 文件 . 

滤波 用 于 两 种 方式 . 它 能 够 用 来 把 原来 的 声波 与 一 个 较 简单 的 函数 尽 可 能 接 
近 地 匹 配 . 这 是 一 种 压缩 的 形式 . 不 是 用 256 个 数字 存储 波 , 我 们 可 以 恰好 存储 最 
低 的 m 个 频率 的 分 量 , 然后 , 当 需 要 时 用 推论 10.12 来 重新 构造 波 . 在 图 10-8a 中 ， 
我 们 在 原来 256 的 地 方 用 了 m = 64 个 实数 , 这 是 一 个 4: 1 的 压缩 比 . 注意 这 个 压 
缩 是 有 损耗 的 , 在 压缩 中 原来 的 波 没有 准确 地 重 制 . 

滤波 的 第 二 个 主要 应 用 是 清理 杂音 . 给 定 一 个 音乐 文件 , 其 中 音乐 或 演讲 话音 
换 杂 了 高 频 杂 音 ROOF), 消除 高 频 项 可 能 对 提高 声音 质量 是 重要 的 . 当然 , 所 
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谓 的 低 通 度 滤波 或 许 并 不 好 用 : 所 要 声音 的 高 频 部 分 , 可 能 在 泛音 区 但 听 者 感觉 不 
明显 , 也 可 能 被 除去 . 滤波 的 话题 是 关于 信号 处 理 的 大 量 文献 中 的 一 部 分 , 为 了 进 
一 步 学习 , 读者 可 参阅 [9]. 在 实例 检验 10 H, 我 们 研究 Wiener 滤波 器 , 这 是 一 类 
应 用 广泛 的 滤波 器 . 


图 10-8 声音 曲线 以 及 滤波 形式 哈 利 路 亚 合唱 曲 的 最 初 页 秒 (虚线 的 
256 个 点 ) 以 及 滤波 形式 ( 实 线 ): (a) 用 64 个 基 函 数 , 4:1 的 
压缩 比 ; (b) 用 32 个 基 函 数 , 8 : 1 的 压缩 比 


亮点 ”压缩 

滤波 是 一 种 有 损耗 的 压缩 形式 . 在 音频 信号 的 情形 下 , 目标 是 减少 需 
要 储存 或 传输 声音 的 数据 数量 , 而 又 不 损害 这 种 信号 所 表示 的 音乐 效果 或 
演讲 信息 . 这 在 频 域 中 完成 得 最 好 , 这 意味 着 应 用 DFT 处 理 频率 分 量 , 然 
Ja DFT 的 逆 . 


习题 10.3 
1. 取 基 函数 1 和 cos nt, 对 习题 10.2.1 中 的 数据 求 最 佳 2 阶 最 小 二 乘 近似 . 
2. 取 基 函 数 1, cos 2rt 和 sin 2rt, 对 习题 10.2.1 中 的 数据 求 最 佳 3 阶 最 小 二 乘 近似 . 

3. 取 基 函数 1, cos 2rt,sin 2rt 和 cos4rt， 对 习题 10.2.3 中 的 数据 求 最 佳 4 阶 最 小 二 乘 
4.。 取 基 函 数 1, cos Ft, sin Ft 和 cos}, 对 习题 10.2.4 中 的 数据 求 最 佳 4 阶 最 小 二 乘 近似 . 
,证 明 引 理 10.10 [提示 : 把 cos ZE 表示 为 (eIn + e-2sik/n)/2, 并 把 每 一 项 写成 用 

w= en 来 表示 , 所 以 能 够 用 引 理 10.1]. 


计算 机 问题 10.3 
1. 对 以 下 数据 点 求 m = 2 和 m = 4 阶 的 最 小 二 乘 三 角 逼 近 函 数 : 


a 
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(a) (b) (c) (d) 


jaio wie ate 口 | = 
Jats oi a 口 | = 
=a onje 
= omw ale 


tje 
0 | -1 
2 | 1 
3 | 4 
4|3 
5 | 3 
2 


使 用 dftfilter.m, 如 在 图 10-7 中 那样 , 绘 出 数据 点 及 逼近 函数 . 
2. 对 以 下 数据 点 求 4 阶 , 6 MA 8 阶 的 最 小 二 乘 三 角 逼 近 函 数 : 


@ apy &) (4) 


æi sles mlo str whe AIH mlr 口 | = 
eic olen slr wko BIH olr O | = 


| 
i 


如 在 图 10-7 中 那样, 绘 出 数据 点 及 逼近 函数 . 

3. 用 MATLAB 的 handel 声音 文件 , 绘 出 m = 3,3, g 阶 的 最 小 二 乘 三 角 逼 近 函 数 以 及 包 
含 最 初 214 个 声音 强度 值 的 向 量 = (这 覆盖 了 大 约 两 秒 的 音频 . 对 p =n 用 MATLAB ft 
码 dftfilter. 作出 3 个 分 开 的 曲线 图 ). 使 用 MATLAB 的 sound 命令 把 原来 的 与 其 近 
似 进行 比较 . 已 经 失去 了 什么 ? 

4, 从 适当 的 网 站 下 载 castanets.wav, 并 形成 包括 最 初 24 个 样本 时 间 的 信号 向 量 . 对 每 
一 个 立体 声波 段 分 别 执行 计算 机 问题 3 中 的 步骤 . 

5。 从 报纸 或 网 站 采集 连续 24 小 时 温度 测量 记录 . 绘 出 数据 点 以 及 (a) 三 角 插 值 函数 、(b) 
m =6 和 (c) m= 12 阶 的 最 小 二 乘 逼近 函数 . 


实例 检验 10 WIENER 滤波 器 


设 c 是 无 噪声 的 音频 信号 , 并 且 把 相同 长 度 的 向 量 > 加 到 c 上 , 结果 得 到 的 信号 > = ctr 
是 否 有 噪声 ”如 果 r = c, 我 们 可 能 不 认为 > 是 噪声 , 这 是 因为 结果 可 能 是 较 大 的 音频 信号 ， 
但 仍 是 无 噪声 的 c 的 形式 . 根据 定义 , 噪声 是 与 信号 不 相关 的 . 换言之 , 如 果 r 是 噪声 , 内 积 
chr 的 期 望 值 是 零 . 下 面 我 们 将 用 到 这 种 不 相关 性 . 

在 典型 的 应 用 中 , 我 们 会 面临 噪声 信号 z 而 要 求 去 求 c. 信号 c 可 能 是 重要 的 系统 变量 
的 值 , 在 噪声 环境 中 受到 监控 . 或 者 如 在 下 面 的 例子 里 ，c 可 能 是 我 们 想 引出 噪声 的 音频 样本 . 
在 20 世纪 中 叶 , Norbert Wiener 为 了 从 z 消去 噪声 , 建议 在 最 小 二 乘 误差 意义 上 寻找 最 佳 滤 
波 . 他 建议 求 一 个 实 对 角 和 矩阵 S 使 得 


F'@Fr—c 
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的 Euclid 范 数 尽 可 能 地 小 , 这 里 F 表示 离散 Fourier 变换 . 这 个 想法 是 通过 Fourier 变换 来 
净化 信号 z, H S 去 乘 频率 分 量 , 然后 对 Fourier 变换 取 逆 .这 称 为 在 频 域内 滤波 , 因为 我 们 
在 改变 x 的 Fourier 变换 的 形式 而 不 是 = 本 身 . 

AT REM AEE 2, 注意 


|F- ®Fax — elle = || @F x — Fella = || ®(F(c + r) — Fella 
=|\(S-DC+ sR, (10.34) 


这 里 我 们 令 C = Fe 及 R= Fr 是 Fourier 变换 . 还 注意 到 噪声 的 定义 意味 着 
CTR=FcerFr=crFrFr=crr=0. 
我 们 将 依据 它 而 忽略 掉 范 数 中 的 交叉 项 , 所 以 长 度 的 平方 减 小 到 
(ŒO FER) ((#- NC + @R) = (OC (sD)+R'B)(s— I)C + OR) 
x O"(6-1°C+R'S*R 
= De 一 D?lC + gi Rl. (10.35) 


izi 
为 了 求 使 这 个 表达 式 取 极 小 的 对 角 元 素 pi, 分 别 对 每 一 个 pi 求 导 得 到 
2(p: — DICil? + 2pe| Ral? = 0 


(对 每 一 个 1), 或 者 解 出 pi: 
-lc 
GP + TR 
这 个 公式 给 出 了 对 角 矩 阵 更 的 元 素 的 Wiener 值 , WEEER -1BFz 和 无 噪声 信号 c 的 
差 极 小 , 仅 有 的 问题 是 在 典型 情形 下 , 我 们 并 不 知道 C 或 R, 因此 必须 作 某 些 近似 来 用 这 个 
AR. 
我 们 的 任务 是 研究 把 近似 放 在 一 起 的 方法 . 令 X = Fz 是 Fourier 变换 . 再 次 应 用 信号 
和 噪声 的 不 相关 性 进行 近似 


(10.36) 


[Xi ~ |C? + Rl. 
然后 我 们 可 以 把 最 优选 择 写 为 
JP 一 |RP 
FTP 
并 且 利用 我 们 所 能 了 解 的 噪声 水 平 . 例如 , 如 果 噪 声 是 不 相关 的 Gauss 噪声 (对 每 一 个 无 噪声 
信号 样本 , 独立 地 加 上 正规 随机 数 模拟 得 到 ), 那么 可 以 用 常数 (po)? 代替 (10.37) 中 的 |Ri|?， 
这 里 o 是 噪声 的 标准 差 , 而 p 是 有 待 选取 的 接近 1 的 参数 . 注意 到 


wr (10.37) 


DR? = RR= cP Pr =r = or. 
rt 


i=1 


在 下 面 的 代码 中 , 我 们 对 Handel 信号 加 50% 噪声 , 并 且 用 p = 1.3 标准 差 来 近似 Ri: 
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load handel % y is clean signal 
c=y(1:40000); % work with first 40K samples 
p=1.3; % parameter for cutoff 
noise=std(c)*.50; % 50 percent noise 
nslength(c); % n is length of signal 
rsnoise*randn(n,1); % pure noise 
X=C+I7 % noisy signal 
fx=fft (x) ;sfx=conj (fx) .*fx; % take fft of signal, and 
sfcapprox=max(sfx-n* (p*noise)*2,0); % apply cutoff 
phi=sfcapprox./sfx; % define phi as derived 
xout=real (ifft (phi.*fx)); % invert the fft 
% then compare sound(x) and sound(xout) 

建议 习题 


1. 运行 上 述 代码 产生 滤波 的 信号 yf, 并 且 用 MATLAB 的 sound 命令 来 比较 输入 信号 和 输 
出 信号 . 
. 通过 与 无 噪声 信号 Cyc) 比较 , 计算 输入 (ys) 和 输出 yf) 的 平均 平方 误差 (MSE). 
， 对 50% 噪声 , 求 参数 p 的 最 佳 值 . 把 极 小 化 MSE 的 值 与 人 耳 听 到 的 最 佳 值 进行 比较 . 
.把 噪声 水 平 改变 成 10%, 25%, 100%, 200%, 并 且 重 复 第 3 步 . 总 结 你 的 结论 . 
.对 在 10.2 节 中 叙述 的 带 有 低 通 度 滤波 的 Wiener 滤波 器 设计 一 种 公平 合理 的 比较 , 并 且 
执行 这 种 比较 . 
6. 下 载 你 选取 的 .wav 文件 , 增加 噪声 , 并 且 执行 上 述 步骤 . 
软件 和 进一步 阅读 
关于 离散 Fourier 变换 的 进一步 阅读 资料 包括 [3, 1, 2]. Cooley 和 Tukey 最 初 的 突破 见 
(5). 在 现代 信号 处 理 中 ,作为 核心 地 位 的 快速 Fourier 变换 在 计算 上 一 直 在 持续 改进 , 见 [11， 
10, 4). FFT 本 身 就 是 一 种 重要 的 算法 , 而 且 因为 它 可 以 有 效 实现 ,还 用 作 其 他 算法 中 的 构造 
块 . 例如 它 被 MATLAB 用 于 计算 在 第 11 章 定义 的 离散 余弦 变换 , Cooley 和 Tukey 使 用 的 分 
治 策略 随后 成 功 地 用 到 了 许多 其 他 的 计算 问题 中 . 
MATLAB 的 fft 命令 基于 20 世纪 90 年 代 在 MIT 发 展 起 来 的 “西方 最 快 Fourier 变 
换 " (FFTW) [7] 在 大 小 n 不 是 2 FEET, 利用 n 的 素数 因子 , 程序 把 问题 分 解 成 较 小 的 
针对 特定 大 小 优化 的 “代码 ”. 关于 FFTW 的 更 多 信息 , 包括 可 下 载 代 码 , 在 http:/www.fftw. 
org 可 以 得 到 . IMSL 提供 了 前 向 变换 FFTCF 以 及 逆 变 换 FFTCB, 它们 基于 Netlib 的 
FFTPACK 加 ,一 种 为 在 并 行 实现 中 使 用 而 优化 的 快速 Fourier 变换 的 Fortran 子 程序 包 . 


ap ON 
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世界 各 地 愈 来 合 快 的 信息 传递 依赖 于 数据 表示 的 精巧 方法 , 正 交 变 换 使 之 成 为 
可 能 . JPEG 格式 的 图 像 表示 基于 本 章 所 介绍 的 离散 余弦 变换 (DCT). MPEG-1 和 
MPEG-2 格式 的 电视 数据 和 视频 格式 , 以 及 H.263 格式 的 视频 电话 都 是 基于 DCT, 
但 更 多 地 强调 了 时 间 维 度 上 的 压缩. 

声音 文件 能 被 压缩 成 各 种 不 同 的 格式 ， 包括 MP3、 高 级 音频 编码 (Advanced 
Audio Coding, 用 于 Apple 公司 的 iTunes 和 XM 卫星 广播 )、WMA( 微 软 音频 媒体 ) 
和 其 他 一 些 最 新 流行 的 格式 . 这 些 格式 有 一 个 共同 点 , 就 是 它们 的 核心 压缩 都 是 基 
于 改进 的 离散 余弦 变换 (Modified Discrete Cosine Transform, MDCT). 

实例 检验 11.4.2 节 后 的 实例 检验 11 把 MDCT 开发 成 一 个 简单 有 效 的 算法 
来 压缩 音频 文件 . 


在 第 4 章 和 第 10 章 , 我 们 已 经 知道 正 交 性 在 表示 和 压缩 数据 方面 的 用 处 . 第 
11 章 将 介绍 只 用 实数 算术 运算 就 能 计算 的 Fourier 变换 的 变形 (DCT). 它 是 当前 我 
们 用 来 压缩 声音 和 图 像 文件 的 一 种 方法 . 

Fourier 变换 可 以 表示 成 一 个 复 的 本 矩阵， 而 它 的 简单 正 是 由 于 它 的 正 交 性 . 
DCT 方法 能 表示 成 一 个 实 的 正 交 矩阵, 正 是 它 的 正 交 性 使 得 它 容 易 被 使 用 及 进行 
逆 变 换 . 它 与 离散 Fourier 变换 充分 相似 以 致 存在 DCT 的 快速 形式 , 这 类 似 于 快速 
Fourier 变换 (FFT). 

本 章 , 我 们 将 详细 讲解 DCT 的 一 些 基 本 性 质 , 并 考察 这 些 性 质 和 有 效 压缩 格 
式 之 间 的 联系 . 例如 , 著名 的 JPEG 格式 把 二 维 的 DCT 应 用 到 8x8 像素 块 的 图 像 ， 
并 且 保 存 了 使 用 Huffrman 编码 的 结果 . 关于 JPEG 压缩 的 细节 将 在 11.2 节 和 11.3 
节 作 为 一 个 案例 来 介绍 . 

一 个 称 为 MDCT 的 改进 离散 余弦 变换 方法 是 很 多 现代 音频 压缩 格式 的 基础 . 
改进 的 离散 余弦 变换 是 当前 声音 文件 压缩 的 黄金 标准 . 我 们 将 介绍 MDCT 并 且 考 
察 它 在 编码 与 解码 中 的 应 用 , 它 提 供 了 MP3 和 AAC 等 文件 格式 的 核心 技术 . 


11.1 ”离散 余弦 变换 


本 节 介绍 离散 余弦 变换 (DCT). 这 种 变换 使 用 余弦 函数 作为 基 函 数 对 数据 进行 
插值 , 并 且 只 涉及 实数 算术 运算 . 它 的 正 交 性 特征 使 得 最 小 二 乘 逼近 像 离散 Fourier 
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变换 一 样 简单 . 
11.1.1 一 维 离散 余弦 变换 
设 ”为 正 整数 , 阶 数 为 n 的 一 维 DCT 由 一 个 n x n 的 矩阵 C 表示 , C 的 元 


素 为 
2 f 1/v2, i=0,j =0,---,n-1, 
cy- y2 ; 11.1 
y 2f Vene i>0,j =0,---,n—1, ma 
或 者 
1 1 et 1 
vi vi vi 
5 cos% cos 3% vee, cos Cn 
pe RN ed 
元 cos 28 cos -cos Am- (11.2) 
en os a (ol i Dans 


对 于 二 维 图 像 , 我 们 约定 下 标 从 零 开 始 (而 不 是 从 1 开始 ). 这 样 的 记号 使 得 我 
们 列举 出 元 素 变 得 更 容易 , 正如 在 (11.1) 中 一 样 . 

本 章 , n x n 的 矩阵 下 标 将 从 0 变化 到 n — 1. 为 简单 起 见 , 我 们 在 下 面 的 讨论 
中 只 处 理 n 为 偶数 的 情况 . 

定义 11.1(DCT) wR 


3= Ca， (11.3) 
其 中 C 如 (11.2) 所 示 , WAR y = [yo,… Yn] Bw = [zo……，zn-il7 的 离散 余 


弦 变 换 (DCT). 
注意 到 C EAREN, 这 意味 着 它 的 转 置 也 就 是 它 的 逆 为 


(2n=1): 
Fe OSH cos 一 
1 3a n—1)3x 
cos $= cee cos 
Co=ct= 2 va am ae 4 (11.4) 
h cos ons Sa i -Den—D 


正 交 矩 阵 的 行 是 两 两 正 交 的 单位 向 量 . C 的 正 交 性 由 以 下 事实 得 来 : CT 的 列 
是 n xn 实 对 称 矩 阵 
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(11.5) 


的 单位 特征 向 量 . 习题 6 要 求 读者 验证 这 一 事实 . 

C 是 实 正 交 阵 这 一 事实 使 得 DCT 有 实际 用 途 . 把 正 交 函数 插值 定理 10.9 应 
用 到 矩阵 C 便 得 到 定理 11.2. 

定理 11.2(DCT 插值 定理 ) Kx = [zo,… pal” 是 一 个 n 维 实 向 量 , 定 
Ly = [yo,… yn]? = Cx, HP C A DCT FEM. 则 实 函数 


n-1 
P,(t) = Z” + EY mom SNe 

满足 Prt) = zj, 其 中 j=0,…,n 一 1. 

证 由 定理 10.9 直接 可 得 . 

定理 11.2 表明 了 nxn 和 矩阵 C 可 把 n 个 数据 点 变换 为 n 个 插值 系数 . 像 离 
散 Fourier 变换 一 样 , DCT 给 出 了 一 个 三 角 插 值 函 数 的 系数 . AM DFT, DCT 只 
使 用 了 余弦 函数 项 并 且 完 全 由 实 的 算术 运算 所 确定 . 

例 11.1 用 DCT 对 点 (0,1), (1, 0), (2, 一 1), (3, 0) 进行 插值 . 

使 用 基本 的 三 角 函 数 运算 , 可 以 把 4x4 的 DOT 矩阵 看 成 


1 
vi 5 5 vi 
a a a a 
1 cos cos% cos% cos b eee 
cat zi , (11.6) 
v2 cos 2% cos SF cos 1% Ha E A 
c eh ba =e 
cos 8 cos% cosi$t cos 342 
其 中 
x 1 x 2+ V2 3r 2-2 
= 二 一 -一 一 二 一 一 = d 11.7 
a = cos 47 Ve b = cos 3 2 1 C= 608 8 7 ( ) 


4 阶 的 DCT 矩阵 乘 以 数据 = = (1,0, -1,0)7 为 


a a a a 1 0 
a b c -c —b Oo }_ a(c +b) 
a -a -a a -1 2a? 
c -b b -ec 0 a(c— b) 
i 0.000 0 
= 1 ~ | 10000 


Vy 一 0.382 7 
2V2 
根据 定理 11.2, 其 中 n= 4, 函数 


P(t) = Z [oo 9cos (2 t Ds + cos azrt DuA 0.382 7 cos sen] 
(11.8) 
对 这 4 个 数据 点 进行 了 插值 . 函数 P(t) 如 图 11-1 的 实 线 所 示 . < 


图 11-1 DCT 插值 和 最 小 二 乘 逼近 ， 数 据点 是 (j,z;)， 其 中 z = 
(1,0,-1,0)7. (11.8) 式 中 的 DCT 插值 函数 Palt) 如 实 线 所 
AR, (11.9) 式 中 的 最 小 二 乘 DCT WER Ps (t) 如 点 虚线 所 示 
11.1.2 DCT 和 最 小 二 乘 逼近 
正 像 由 定理 10.9 马上 就 能 得 到 DCT 插值 定理 11.2, 定理 10.11 的 最 小 二 乘 结 
果 表 明了 , 如 何 只 利用 部 分 基 函 数 寻 找 数据 的 DCT 最 小 二 乘 逼近 . 由 于 基 函 数 的 


正 交 性 , 我 们 把 高 频 项 丢掉 就 完成 这 一 步 . 

定理 11.3(DCT 最 小 二 乘 逼 近 定理 ) Ke = [zo,… tral’ ÆA n KK 
数 向 量 , 定义 3 = [yo ,Yn-1] = Ca, KP C A DCT HH. 1 <m<n 是 另 
外 一 个 整数 ,以 Yo,… ,ym-1 为 系数 的 


1 VIA k(2t + Dn 
Pm(t) = zY + Ja > Yk COS ( mn ) 
k=1 


HLT n 个 数据 点 的 平方 通 近 误差 X (Pn (9) — z3). 
> 
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证 由 定理 10.11 直接 可 得 . 
在 例 11.1 F, 如 果 要 求 只 用 3 个 基 函 数 
A tH oon 2(2t : Dx 


对 同样 的 4 个 数据 做 最 佳 二 乘 逼近 , 其 结果 是 


2 十 1 
.0 十 (2t + 1)x 


t 
P,(t) = 5 0.923 gcos + cos 22 =] (119) 


万 
11-1 把 插值 函数 Pa 与 最 小 二 乘 解 P 作 了 比较 . 


. 
2 


亮点 ER 

最 小 二 乘 台 近 的 思想 是 , 找到 点 到 平面 (或 子 空间 ) 的 最 短 距 离 , 即 要 
构造 点 到 平面 的 垂 线 . 像 第 4 章 那 样 , 这 个 构造 由 正规 方程 组 得 出 . 第 10 
章 和 第 11 章 使 用 这 个 概念 及 相对 小 的 一 组 基 函 数 来 尽 可 能 近 地 逼 近 数 
据 . 基本 的 信息 是 像 DCT 矩阵 的 行 所 表现 的 一 样 , 要 寻找 正 交 的 基 函 数 ， 
于 是 正规 方程 组 在 计算 上 就 变 得 非常 简单 ( 见 定理 10.11). 


例 11.2 ”使 用 DCT, 对 于 m = 4,6, 8, 求 关 于 数据 t = 0,… ,7 Mae = 
[+2.2, —2.8, —6.1, —3.9, 0.0, 1.1, —0.6, 一 1.1] 的 最 小 二 乘 拟 合 . 
4n=8 时 , 我 们 找到 数据 的 DCT 为 


一 5.515 4 
一 3.834 5 
0.583 3 
4.371 5 
0.424 3 
一 1.55 4 
一 0.624 3 
一 0.576 9 


根据 定理 11.2, 8 个 数据 点 的 DCT 插值 结果 为 


4 = Cz = 


Palt) =% 5515 4)+ 3 [-sss 5cos Gris + 0.583 3 cos 2G6+ 1s 


+ 4.371 5cos + 0.424 3cos 


3(2t+ 1)" 4(2t+1)x 
16 1 


— 1.550 4cos — 0.624 3cos 


5(2t+1)a 6 (2t 十 1) 
16 16 
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一 0.576 9 cos Tta 
插值 结果 Ps 和 最 小 二 乘 拟 合 Ps 和 P, 画 在 了 图 11-2 上 , 后 面 两 个 是 根据 定理 11.3 
通过 分 别 只 保留 了 Ps 前 6 项 和 前 4 项 得 到 的 . < 


y 


a 


z 


0123 45 67 8 


图 11-2 DOT FAA) DE. 实 曲线 是 例 11.2 中 数据 点 的 DCT 
插值 结果 , 分 段 的 虚线 是 只 有 开始 6 项 的 最 小 二 乘 拟 合 , 而 点 


虚线 代表 4 项 
习题 11.1 
1. 用 2x2 的 DCT 矩阵 和 定理 11.2 来 求解 数据 点 的 DCT 插值 函数 ， 
@) tl (by t| x (ce) 上 | x (a) 上 | x 
0|3 0| 2 0/3 0j 4 
1;3 1|-2 1 | 1 | -1 


2. 根据 输入 数据 (0,20), (1,21), 描述 m = 1 的 最 小 二 乘 DCT 逼近 . 
3. 求解 下 面 数据 向 量 = 的 DCT, 并 对 数据 点 (i,zi),i = 1,… ,n — 1, 求 相应 的 插值 函数 
Palt). [可 以 像 (11.7) 中 那样 定义 上 和 c 来 写 出 答案 ] 


@mt mt A 
oll 0 |1 011 0|1 
1/0 hid 1/0 1/2 
2 |1 2 1|1 2/0 2/3 
3/0 3)1 3/0 3)4 


4. 对 于 习题 3 中 的 数据 , 求解 m = 2 项 的 DCT 最 小 二 乘 逼 近 . 

。 写 出 建立 (11.6) 和 (11.7) 所 需要 的 三 角 函数 运算 . 

6. (a) 证 明 对 于 任何 的 > 和 y, 三 角 函 数 公式 cos(z 十 y)+cos(z — y)=2cosxcosy 成 立 ; 
(b) 证 明 CT 的 列 是 (11.5) 中 矩阵 T 的 特征 向 量 , 并 找 出 特征 值 ; 
(c) 证 明 CT 的 列 是 单位 向 量 . 

7. 设计 一 个 和 10.2 节 中 用 来 画 DFT 图 像 类 似 的 简单 方法 , 来 画 DCT 最 小 二 乘 多 项 式 
Pm(t) 的 图 像 , EWR DCT HMR LARK Vp/m 和 DCT 的 道 变换 . 


计算 机 问题 11.1 
1. 画 出 习题 3 的 数据 、 DCT 插值 结果 和 m = 2 项 的 DCT 最 小 二 乘 逼近 的 图 形 . 


a 
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2. 画 出 下 面 数据 和 m= 4, 6, 8 的 DCT 最 小 二 乘 逼 近 的 函数 图 像 : 
t| x t | x t| x t | x 

四 0| 3 (b) 0j 4 ©) 0| 3 (9) 0| 4 
ij 

2|-3 

3| 0 

4| 0 

5 

6 

7 

0, 


2 
—4 
0 7| 3 


,… ,7, 画 出 下 列 函数 f(t) 和 DCT 插值 函数 的 图 像 . (a) f(t) = 


CEOE wb 
w 


1 
2 
3 
4| 4 
5 
6 
7 


Noaurnone 


4 


3. 在 数据 点 (G, (9), 5 = 
e*/4; (b) f(t) = cos Bt. 


11.2 ”二 维 DCT 和 图 像 压 缩 


二 维 的 DCT 经 常 被 用 来 压缩 小 块 图 像 , 如 8x8 像素 的 . 这 种 压缩 是 有 损 的 ， 
意思 是 图 像 的 一 些 信息 会 被 忽略 . DCT 的 关键 特征 是 它 能 帮助 组 织 信息 , 使 得 被 忽 
略 的 信息 恰好 是 人 类 的 眼睛 对 它 不 敏感 的 .更 确切 地 说 , DOT 向 我 们 展示 了 如 何 
利用 一 组 基 函 数 , 它们 依 人 类 视觉 系统 所 判断 的 重要 性 由 高 到 低 排列 , 对 数据 进行 
插值 . 那些 不 太 重要 的 插值 项 可 以 根据 需要 而 舍 去 , 就 像 报纸 编辑 在 出 版 期 限 临近 
时 把 长 篇 故事 去 掉 那样 . 

接着 我 们 要 把 所 学 的 关于 DCT 的 知识 应 用 到 图 像 压 缩 中 去 . 加 上 量化 矩阵 的 
工具 和 Huffman 编码 , 每 个 8x8 的 图 像 可 以 跟 其 他 图 像 块 一 样 转 化 为 位 流 来 储存 . 
当 图 像 需 要 解压 和 显示 时 , 完整 的 位 流通 过 编码 的 逆 过 程 被 解码 . 我 们 将 介绍 这 种 
称 为 标准 JPEG 的 方法 , 它 是 用 来 储存 JPEG 图 像 的 默认 方法 . 


11.2.1 二 维 DCT 


二 维 DCT 只 不 过 是 把 一 维 的 DCT 一 个 接 一 个 应 用 到 二 维 中 . 它 可 以 对 给 定 
二 维 网 格 上 的 数据 进行 插值 或 逼近 , 跟 一 维 的 情形 很 相似 . 在 图 像 处 理 中 , 二 维 网 
格 上 的 数值 表示 像素 值 , 譬如 说 灰 度 值 、 彩 色 度 . 

仅 在 这 一 章 ， 当 涉及 如 图 11-3 中 所 示 的 二 维 数据 点 时 ， 我 们 将 首先 列 出 纵 坐 
标 , 然后 列 出 横 坐 标 . 目标 是 使 得 它 和 矩阵 运算 的 一 些 通常 约定 相 容 , 其 中 元 素 zi 
的 下 标 i 是 沿 着 纵 坐 标 变化 的 , j 是 沿 着 横 坐 标 变化 的 . 这 一 节 的 主要 应 用 是 可 以 
很 自然 地 把 图 像 视 为 数 的 矩阵 , 像素 文件 就 表示 图 像 . 

图 11-3 显示 了 在 二 维 平面 上 每 个 小 矩形 网 格 点 (si,t;) 赋值 为 zi 的 (5,4) 网 
格 点 . 为 明确 起 见 , 我 们 将 使 用 整数 点 网 格 si = {0,1,… ,n - 1}( 记 住 这 对 应 着 纵 
坐标 ) 和 tj = {0,1,… ,n 一 1}( 这 对 应 着 横 坐 标 ). 二 维 DCT 的 目标 是 要 构造 拟 合 
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n? 个 点 (st, 刁 ,25) 的 插值 函数 F(s,t), 其 中 i,j = 0,1,… ,n 一 1. 二 维 DCT 在 最 
小 二 乘 意义 下 以 最 优 方式 完成 了 这 一 目标 , 即 说 这 个 拟 合 很 好 地 合 去 了 插值 函数 中 
部 分 基 函 数 项 . 


4 


图 11-3 ”二 维 网 格 数据 点 : 二 维 的 DCT 能 够 对 正方 形 网 格 上 的 函数 值 
(如 图 像 的 像素 值 ) 进行 插值 


二 维 DCT 是 把 一 维 DCT 连续 地 应 用 于 纵 坐 标 和 横 坐 标 , 考虑 以 zi 为 元 素 
值 的 矩阵 X, 如 图 11-3 所 示 . 为 把 一 维 DCT 应 用 到 s 方向 , 我 们 需要 把 X 进行 
RE, AERE C. 所 得 到 的 列 恰好 是 矩阵 X 的 行 的 一 维 DCT. CXT 的 某 个 列 
刚好 对 应 着 某 个 固定 的 ti 在 土方 向 上 做 一 维 DCT 意味 着 沿 着 行进 行 移动 , 因此 ， 
再 一 次 对 其 进行 转 置 再 乘 上 C 有 


COX =cxc’. (11.10) 


EX 114 nxn HHH X 的 二 维 DCT RY =CXC™, 其 中 4H (11.1) 
所 定义 . 
例 11.3 WA 11-4a 中 数据 的 二 维 DCT. 


图 11-4 Bi 11.3 的 二 维 数据 (a)16 PEGEA (i, j, za); (b) 式 (11.4) 的 
最 小 二 乘 逼近 在 网 格 点 上 的 值 
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由 定义 和 (11.6) 式 知 , 矩阵 的 二 维 DCT 为 


aaaa Fs et a b a ec 
j ce -c ||1ı001 a c -ab 
Y = CXC =a a 

-a -a a 1001 a -c -a b 

c -b b —c 1111 a -b a —c 
3 0 0 
0 

= o- (11.11) 

10-10 
0 0 0 0 


< 

二 维 DCT 的 逆 变 换 很 容易 用 DCT 矩阵 C 来 表达 . HF Y =CXCT AC 
是 正 交 阵 , X = CTYC 刚好 恢复 了 图 像 . 

定义 11.5 nxn Y 的 二 维 DCT HX X=CTYC. 

像 前 面 所 看 到 的 , 正 交 变换 的 逆 和 插值 有 着 紧密 的 联系 . 插值 的 目标 是 从 由 变 
换 产 生 的 插值 系数 所 构造 的 函数 中 恢复 原始 数据 点 . 由 于 C 是 一 个 正 交 阵 , Co = 
CT. 由 于 在 等 式 X = CTYC 中 zi 可 表 成 余弦 函数 的 乘积 , 二 维 DCT 的 逆 也 可 
以 写成 插值 形式 . 

注意 到 (11.1) 中 C 的 定义 


Z Qj+1 
Cy = Bescon tL, ij=0, nl, (11.12) 


aeae ent 
可 以 把 插值 函数 写成 一 种 有 用 的 形式 . 根据 矩阵 乘积 的 法 则 , 等 式 X = CTYC 可 
表达 成 


n-ln-1 n-1n-1 
Zij = > > CRYO = X > CriyrrCry 
k=0 l=0 k=0 Ll=0 (11.13) 
pea K(Qi+1)x (2j +1)x 
=z 2 2 YkIQkAL COS Im cos on j 
这 正 是 我 们 要 找 的 插值 函数 形式 . 


定理 11.6 二 维 DCT 插值 定理 HX = (zij) 是 nxmn ARRE, 
Y = (yu) Æ X H=H# DCT, ZR ag = 1/V2 和 ak =1,k > 0, MH BR 
2 K(2s 二 1)r 1(2t 十 1)m 
P,(s,t) = = 2 > Yur, 0, Cos gr CS gn — 
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满足 Pali j) = Tij, KP i,j =0,---,n-1. 
回 到 例 11.3, 不 为 0 的 插值 系数 仅 有 yoo = 3, yor = yoo = 1, yoo = 一 1. 由 定理 
11.6 写 出 的 插值 函数 为 


_2[1 1 2(2t+l)r 1 2(28+1)x 
Pa(s,t) =7 [56 + yea 008 Jat» 08 8 
2 Qst Dx oe 2(2t + | 


+ Yaz COS 
ie 8 


s 2 (2t+ Dr 
og (Hees 2 
se tm Don sles 
: 1 22t+Drx, 1 2(Qs+1)x 
= i foo a a 
1 (2s+D)x (2¢+1)x 
Yeos cos 1 


2(2s+1)x 
8 


+ Z (1) cos 


举例 验证 一 下 插值 , 如 Ps(0,0) = $+5+5—F =1, Pa(1,2) = $-4-4-} =0, 
和 图 11-4 中 的 数据 一 样 . 插值 函数 中 的 常数 项 yoo/n 被 称 为 展 式 中 的 “DO 部 分 
(direct current), 它 是 数据 的 简单 平均 , 非常 数 项 包含 了 数据 关于 平均 值 的 扰动 . 在 
这 个 例子 中 , 12 个 1 和 4 个 0 的 平均 是 yoo/4 = 3/4. 

二 维 DCT 的 最 小 二 乘 逼 近 和 一 维 DCT 中 的 做 法 一 样 . 例如 , 使 用 一 个 低 通 
过 滤器 将 会 除去 高 频 部 分 , 即 插值 函数 中 其 系数 具有 较 大 下 标的 项 . 在 例 11.3 P, 
XIF i+j <2 的 基 函 数 


i(2s+1 j 1 
cos if at JF oos tt )x 


的 最 佳 最 小 二 乘 拟 合 是 去 掉 那 些 不 满足 i+j < 2 的 项 . 在 这 种 情况 下 , 仅 有 ;= 了 = 2 
是 非 零 的 高 频 项 , 得 到 


1 dos (2t + 1)x 1 cea (2s + 1)x 
2/2 4 2/2 koar 


这 种 最 小 二 乘 逼近 如 图 11-4b 所 示 . 

对 于 向 量 z 的 一 维 DCT 的 MATLAB 命 令 是 

>> y=dct (x); 

dct 的 输入 可 以 是 一 个 向 量 或 一 个 矩阵 . 在 后 一 种 情况 下 , 返回 的 结果 是 矩阵 
每 一 列 的 DCT. 令 人 惊讶 的 是 , MATLAB 不 是 通过 乘 上 适当 的 DCT HM C, 而 是 


Bs) = 3+ 


(11.14) 


11.2 二 维 DCT 和 图 像 压缩 ”469 


通过 快速 Fourier 变换 , 来 计算 DCT 的 . 当然 MaTLAB 也 能 通过 把 变换 作用 于 单位 
阵 来 显示 n xm 的 DCT ERE: 

>> C=dct (eye(n)) 

为 使 得 MATLAB 执 行 二 维 DCT, 我 们 回 到 (11.10) 中 的 定义 . 对 于 矩阵 X 命 
令 

>> Y=dct (det (X’)’) 
两 次 使 用 一 维 DCT 计算 二 维 DCT. 
11.2.2 ”图 像 压缩 


DCT 中 所 讲 到 的 正 交 性 对 于 实施 图 像 压 缩 至 关 重要 . 图 像 中 包含 由 数 (对 于 
彩色 图 像 而 言 是 向 量 ) 来 表示 的 像素 . 简便 的 方法 如 DOT 能 很 容易 地 做 最 小 二 乘 
逼近 使 得 需要 表示 像素 值 的 位 数 减 少 , 但 原 图 像 只 是 很 轻微 的 失真 , 并 且 肉眼 可 能 
觉察 不 到 . 

图 11-5a 显示 了 一 幅 256x256 像素 的 灰 度 图 像 . 每 个 像素 的 灰 度 值 由 一 个 字 
节 来 表示 , 一 个 字 节 有 8 位 , 表示 整数 从 0 到 255. 当 为 0 时 是 黑色 , 255 时 是 白 
色 . 我 们 可 以 认为 图 中 所 示 的 信息 为 256x256 的 整数 数组 ,以 这 种 方式 来 表示 , 该 
图 像 保 存 有 256x256 = 216 = 64 K 字 节 的 信息 . 


(a) (b) 
图 11-5 ABER. (a)256x256 网 格 的 每 一 个 像素 由 0~255 中 的 一 个 
整数 表示 ; (b) 粗糙 的 压缩 , 每 个 8x8 的 像素 块 由 它们 的 灰 度 
平均 值 来 表示 


MATLAB 通 过 使 用 标准 的 图 像 格式 来 导入 图 像 的 灰 度 值 或 RGB 值 . 例如 给 定 
一 个 图 像 文件 picture.jpg, 命令 

> xin = imread(’picture. jpg’); 

» x = double(xin); 

把 灰 度 值 矩 阵 输入 到 双 精 度 变 量 = 中 . 如 果 图 像 是 RGB 彩色 的 , 数组 变量 就 
会 是 用 3 维 的 向 量 来 表示 3 种 颜色 . 本 节 主 要 讨论 灰 度 值 将 其 拓展 到 彩色 图 像 是 
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很 直接 的 , 我 们 将 在 本 节 最 后 对 它 进行 讨论 . MATLAB 命 令 imagesc(x) 将 把 数组 呈 
现 为 灰 度 图 像 或 彩色 图 像 , 依赖 于 x 是 二 维 的 或 三 维 的 . 

图 11-5b 显示 了 用 一 种 粗糙 的 压缩 方法 压缩 图 像 的 结果 , 其 中 每 个 8x8 像素 块 
的 像素 值 由 它们 的 平均 值 来 代替 . 数据 的 压缩 量 是 很 可 观 的 , 因为 只 剩 下 322 = 210 


个 像素 块 , 其 中 每 块 的 像素 值 由 一 个 整数 表示 


但 是 压缩 所 得 的 图 像 质量 很 糟 


糕 . 我 们 的 目标 是 通过 使 用 几 个 整数 代替 每 一 个 8x8 的 像素 块 来 更 好 地 表达 原始 
图 像 的 信息 而 不 把 图 像 压缩 得 那么 厉害 . 


开始 我 们 把 问题 简化 为 8x8 的 像素 块 , 如 图 11-6a 所 示 . 这 个 块 取 自 于 图 11-5 


的 右 眼 区 域 . 图 11-6b 用 各 占 一 个 字 节 的 整数 来 表示 了 64 个 像素 的 灰 度 强度 . 图 
11-60 中 , 我 们 把 每 个 像素 值 减 去 256/2=128, 使 得 这 些 数据 以 0 点 为 中 心 . 这 一 步 
并 不 是 必需 的 , 只 是 这 样 中 心 化 后 能 更 好 地 使 用 二 维 DOT. 


(a) 
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图 11-6 8x8 像素 块 的 例子 : (a) 灰 度 显示 ; (b) 灰 度 像素 值 ; (c) 灰 度 像素 值 -128 
为 了 压缩 所 示 的 8x8 的 像素 块 , 我 们 将 对 灰 度 值 矩阵 X 进行 变换 , 其 中 
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这 依赖 于 二 维 DCT 根据 信息 对 人 类 视觉 系统 的 重要 性 进行 选择 信息 的 能 力 . 


我 们 计算 X 的 二 维 DCT, 为 简单 计 经 四 合 五 入 得 
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Y = CXC] = (11.16) 


12 30 0 -3 -3 -6 12 ~l 


RERE LA HRT NERINE TEE, 但 是 它 会 使 压缩 变 
得 更 容易 . 注意 到 有 这 样 的 一 种 趋势 , 与 右 下 方 相 比 , 更 多 的 信息 要 被 储存 在 变换 
矩阵 Y 的 左上 方 . 右 下 方 表示 了 对 视觉 系统 而 言 不 那么 重要 的 高 频 基 函 数 .然而 ， 
由 于 二 维 DCT 是 一 个 可 逆 变 换 , Y 中 的 信息 完全 可 以 重建 原始 图 像 , 达到 四 合 五 
入 的 标准 . 

低 通 过 滤器 是 我 们 选择 的 第 一 种 压缩 策略 . 如 12.1 节 所 讨论 的 , 二 维 DCT 的 
最 小 二 乘 逼近 仅 是 把 插值 函数 Ps(s,t) 的 一 些 项 会 去 . 如 我 们 可 以 通过 令 ya = 0( 当 
k+1>7 时 ), 把 具有 相对 高 空间 频率 的 函数 所 起 的 影响 去 掉 , 经 过 低 通过 滤 , 变换 
的 系数 为 


-304 210 104 -69 10 20 -12 0 


-327 -260 67 70 -10 -15 0 0 
93 -84 -6 16 2 0 0 0 
89 33 -19 -2 0 0 0 0 
dd 9 4 18 0 0 0 0 0 (11.17) 
-5 1 0 0 0 0 0 0 
10 0 0 0 0 0 0 0 
0 0 0 


0 


为 构造 图 像 , 我 们 使 用 二 维 DCT 的 逆 , 如 Cg8 YiewCs, 获得 的 灰 度 像素 值 如 图 11-7 
所 示 , 图 11-7a 的 图 像 和 图 11-6a 的 原始 图 像 很 近似 , 但 细节 上 是 不 同 的 . 

那么 我 们 从 8x8 像素 块 压缩 了 多 少 信息 呢 ? 如 果 不 考虑 四 含 五 和 的话, 原始 
图 像 可 以 通过 对 (11.6) 做 二 维 DCT 的 逆 变 换 再 加 上 128 来 进行 重 构 . 经 过 低 通过 
滤器 后 , 减少 了 差不多 一 半 的 存储 量 , 但 是 保留 了 像素 块 大 部 分 的 视觉 信息 . 
11.2.3 量化 


量化 的 想法 允许 我 们 以 一 种 更 有 选择 的 方式 使 用 低 通过 滤器 来 达到 它 的 效果 . 
我 们 将 在 更 低 的 存储 成 本 下 保留 一 些 系数 的 低 精 度 版 本 , 而 不 是 完全 忽略 掉 它们 . 
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11-7 ”使 用 低 通过 滤器 的 结果 : (a) 过 滤 后 的 图 像 ; (b) 经 变换 再 加 上 
128 后 的 灰 度 值 ; (c) 逆 变 换 后 的 数据 


这 种 想法 利用 了 人 类 视觉 系统 的 相同 方面 , 即 对 更 高 空间 频率 反而 不 敏感 . E 
要 思想 是 分 配 少 一 些 的 位 数 来 存储 变换 矩阵 Y 右 下 角 的 信息 而 不 是 把 它 丢 掉 . 


[io 


200 


205 | 207 | 2 
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模 a 的 量化 
量化 : z =round(y/q) (11.18) 
EMME: g= qz 


这 里 的 “round” 是 “四 使 五 入 ”的 意思 , 量化 误差 (quantization error) 是 输入 的 y 
与 经 量化 和 去 量化 处 理 后 而 输出 的 了 的 差 . 模 g 数量 化 的 最 大 误差 是 q/2. 

例 11.4 X —10, 3, 65 进行 模 8 的 量化 . 

量化 后 的 值 为 -1, 0, 8. 去 量化 后 结果 是 -8, 0, 64, 各 自 的 误差 为 | 一 2|, |3}, |1| 
每 个 均 小 于 q/2 = 4. < 

回 到 图 像 的 例子 , 每 个 频率 所 允许 的 位 数 可 以 任意 选取 . 称 8x8 的 矩阵 Q 为 
量化 矩阵 . 元 素 qu, 其 中 0 < k,l < 7, 将 限制 我 们 分 配给 变换 所 得 矩阵 Y 每 个 位 
置 上 元 素 的 位 数 . 用 压缩 矩阵 


Yq = round[lyki/gki] (11.19) 


来 代替 Y. 矩阵 Y 的 每 个 位 置 上 元 素 除 以 量化 矩阵 相应 位 置 上 的 元 素 . 信息 的 丢 
失 发 生 在 接 下 来 所 做 的 四 舍 五 入 , 它 使 得 这 种 方法 成 为 有 损 压 缩 , 可 以 看 到 , 量化 
矩阵 中 元 素 值 越 大 信息 丢失 得 越 多 . 

作为 第 一 个 例子 , 线性 量化 (linear quantization) 由 如 下 矩阵 定义 : 


Git = 8p(k+1+1), Ok I<T, (11.20) 


其 中 是 常数 , 称 为 损失 参数 (loss parameter). 于 是 
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64 72 80 88 96 104 112 120 


损失 参数 越 小 , 重 构 的 结果 越 好 . 矩阵 Ye 里 数 的 结果 集合 表示 一 张 新 的 图 像 . 

为 解压 缩 文件 , 通过 逆 过 程 对 Yo 进行 去 量化 , 将 其 上 每 个 位 置 上 的 元 素 乘 上 
Q 相应 位 置 上 的 元 素 . 这 是 图 像 编码 的 损失 部 分 . 将 ya RO qi 再 进行 四 舍 五 入 ， 
然后 通过 乘 以 gx: 进行 重 构 , 这 可 能 给 yer 加 上 gxi/2 的 误差 , 这 就 是 量化 误差 . qu 
BK, 在 重 构图 像 时 潜在 的 误差 也 就 越 大 ; HA, an BK, Yo 里 的 整数 元 素 
会 越 小 , 那么 只 需 更 少 的 位 数 来 储存 它们 . 这 是 在 图 像 的 精确 度 和 文件 大 小 中 进行 
的 权衡 . 

事实 上 , 量化 完成 了 两 件 事 : 高 频 中 只 有 很 小 影响 的 很 多 元 素 通过 (11.19) 直 
接 设 为 0, 那些 不 为 0 的 也 变 得 更 小 , 这 使 得 只 要 很 少 的 位 数 来 存储 和 传输 它们 . 这 
些 数 将 通过 Huffman 编码 (11.3 节 介绍 ) 来 转换 为 位 流 . 

损失 参数 p 是 用 来 权衡 存储 量 和 视觉 精确 度 的 旋钮 . 为 使 用 线性 量化 矩阵 , 将 
TOR yn 除 以 8p(k +1 +1), 然后 四 舍 五 入 取 整 数 . 在 MATLAB 中 这 相当 容易 : 

>> Yq = round(Y.*hilb(8)/(8*p)); 

p= 1 的 线性 量化 矩阵 用 到 (11.16) F, 所 得 的 系数 矩阵 为 


-38 13 4 -2 0000 
-20 -11 2 20000 
4 -3 -2 0 0000 
1 0 00000 (11.21) 
0 1 0 0 0000 
0 0 0 00000 
0 0 0 0 0000 
0 0 0 0 0000 


为 重 构图 像 必 须 将 变换 所 得 的 矩阵 乘 上 Q, 并 且 重 新 变 回 像素 值 . 在 MATLAB 中 ， 
使 用 前 面 命令 的 逆 过 程 有 

>> Xq = 8*p* Yq./hilb(8); 
使 用 p=1 的 Ya 重 构 的 图 像 块 如 图 11-8a 所 示 . 与 原始 的 图 像 块 相 比 只 有 略微 
的 不 同 , 并 且 比 使 用 低 通过 滤器 重 构 的 结果 更 接近 于 原始 图 像 . 
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全 
图 11-8 线性 量子 化 的 结果 : 损失 参数 为 (a)p = 1, (bjp = 2, (c)p = 4 


用 p= 2 的 线性 量化 矩阵 量化 后 的 系数 矩阵 为 


-19 7 2 -10000 
-10 1 10000 
2 -1 -1 00000 
Ty 0 0 0000 
Yoq= 0 2 (11.22) 
0 0 0 00000 
0 0 0 0 0000 
D0 2 PF BM Os 
yg 2D DP OD 0 
用 p=4 的 线性 量化 矩阵 量化 后 的 系数 矩阵 为 
-9 3 1-10000 
-5 -31 0 0000 
1-10 0 69 6 6 
1 0 0 
Yo= ae DR (11.23) 
让 
0: 0 00-00 0° 6 
G 000 0000 
0 0 0 0 0000 


图 11-8 显示 了 使 用 3 个 不 同 损失 参数 p 的 量化 结果 . 注意 到 损失 参数 p 的 值 
BK, 通过 量化 过 程 矩 阵 Yo 中 被 置 为 0 的 元 素 越 多 , 表示 像素 所 需 的 数据 越 小 ， 
那么 重 构 的 图 像 越 不 忠实 于 原来 图 像 . 

接 下 来 我 们 对 图 11-5 中 的 1 024 块 图 像 进行 量化 . 损失 参数 为 p = 1, 2, 4 的 
结果 如 图 11-9 所 示 . 当 p = 4 时 图 像 已 经 被 严重 损坏 . 
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我 们 可 以 粗略 地 计算 一 下 量化 方法 造成 的 图 像 的 压缩 量 ， 原 始 图 像 使 用 从 0 
到 255 中 的 整数 来 表示 像素 值 , 每 个 整数 占用 一 个 字 节 或 8 位 . 对 于 8x8 的 像素 
块 , 未 经 压缩 所 需 的 位 总 数 总 计 是 8(8)? ~ 512 位 . 


(b) © 
图 11-9 对 所 有 1024 个 8 x 8 图 像 块 做 线性 量化 的 结果 : 损失 参数 为 
(a)p = 1, (b)p = 2, (c)p=4 
现 假设 使 用 损失 参数 p = 1 的 线性 量化 矩阵 . 假设 二 维 DOT 变换 得 的 矩阵 了 
的 最 大 元 素 为 255, 然后 经 Q 量子 化 , Ya 的 最 大 可 能 元 素 为 


32 16 118 6 5 5 4 
111865544 
了 
8 6 5 544 3 3 
6 5 5 44 3 3 3 
ES de AB? Be Bo 2 
5 4 4333 2 2 
4483 3322.2 


因为 正 的 和 负 的 元 素 均 有 可 能 出 现 , 所 需 用 来 存储 各 元 素 的 位 数 是 


AAA-~y 
a a a a oY 
ork ek RR 
wwa aa aAa 
oworh A eR a A 
w www hh RA 
外 四 四 四 hr RA 
w w w w w op p 
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这 64 个 数 的 总 和 为 249, BR 149/64~3.89 位 /像素 , 它 比 存储 8x8 图 像 矩 阵 的 原 像 
素 值 所 需 的 位 数 的 一 半 还 少 . 对 于 p 的 其 他 值 的 相应 统计 结果 , 如 下 表 所 示 : 


P 
1 
2 191 2.98 
4 


从 上 表 我 们 可 以 看 到 , 当 p = 1 时 , 只 有 一 些 很 细微 的 变化 可 以 看 出 来 , 但 是 
表示 图 像 所 需 的 位 数 却 减 少 了 1/2. 这 是 由 量化 得 来 的 压缩 . 为 进一步 压缩 , 我 们 
要 利用 许多 高 频 项 在 变换 中 经 量化 后 变 为 0 的 这 个 事实 ， 通 过 11.3 节 所 介绍 的 
Huffman 编码 和 游程 编码 (run-length coding), 这 将 能 够 非常 有 效 地 做 到 . 

p= 1 的 线性 量化 非常 接近 于 默认 的 JPEG 量化 . 量化 矩阵 提供 了 有 最 小 图 像 
失真 的 大 部 分 压缩 , 它 已 经 成 为 很 多 研究 讨论 的 主题 . JPEG 标准 包含 了 一 个 称 为 
“Annex K: Examples and Guidelines” HUBER, 它 包 含 了 一 个 基于 人 类 视觉 系统 试 
验 的 Q. 矩阵 


16 11 10 16 24 40 51 61 
12 12 14 19 26 58 60 55 
14 13 16 24 40 57 69 56 
14 17 22 29 51 87 80 62 
18 22 37 56 68 109 103 77 
24 35 55 64 81 104 113 92 
49 64 78 87 103 121 120 101 
72 92 95 98 112 100 103 99 


广泛 地 使 用 于 当前 发 行 的 JPEG 编码 器 中 . 设 损失 参数 p = 1, 它 就 人 类 视觉 系统 
而 言 提供 了 事实 上 完美 的 重 构 , 而 当 p = 4 时 , 却 经 常 发 生 显著 的 失真 . 在 某 种 程 
BEL, 视觉 质量 依赖 于 像素 的 大 小 : 当 像 素 很 小 时 , 一 些 误差 可 能 不 被 发 觉 . 

到 现在 为 止 , 我 们 仅仅 讨论 了 灰 度 值 图 像 . 很 容易 把 前 面 的 方法 推广 到 彩色 图 
B (可 以 用 RGB 彩色 系统 表示 ) PE. 每 一 个 像素 被 赋予 3 个 整数 , 分 别 表示 红 、 
绿 、 蓝 的 强度 . 一 种 方法 是 把 压缩 过 程 独立 地 作用 于 每 一 种 颜色 , 把 它们 当 作 灰 度 
图 像 来 处 理 , 最 后 从 这 3 种 颜色 重 构图 像 . 

尽管 JPEG 标准 没有 说 如 何 处 理 颜 色 , 但 是 作为 基准 的 JPEG 采取 了 一 种 更 
为 细致 的 方法 . 定义 亮度 (luminance)Y = 0.299R + 0.587G + 0.114B, 颜色 差 (color 
difference)U = B—Y Ñ V = R~Y. 这 把 RGB 颜色 数据 转换 为 YUV 系统 . 由 于 
RGB 值 可 以 通过 B=U+Y,R=V+Y Al G = (Y —0.299R —0.114B)/0.587 重 
新 算出 , 所 以 这 是 完全 可 逆 的 变换 . 基准 的 JPEG 把 前 面 介绍 的 DCT 过 滤器 独立 


(11.24) 
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HAR Y, U, V 中 , 对 于 亮度 使 用 附录 Annex K 中 的 量化 矩阵 Qy, 对 于 颜色 差 U 


和 V 使 用 量化 矩阵 


17 18 24 
18 21 26 
24 26 56 
47 66 99 
99 99 99 
99 99 99 
99 99 99 
99 99 99 


Qe 


BIEK Y, UV AV, 它们 可 以 重新 转换 回 RGB 来 重 构图 像 . 


47 
66 
99 
99 
99 
99 
99 
99 


99 
99 
99 
99 
99 
99 
99 
99 


99 
99 
99 
99 
99 
99 
99 
99 


99 
99 
99 
99 
99 
99 
99 
99 


99 
99 
99 
99 
99 
99 
99 
99 


(11.25) 


由 于 U, V 在 人 类 视觉 系统 中 相对 地 不 是 那么 重要 , 所 以 可 以 使 用 更 积极 的 量 
化 方法 , WR (11.25) 所 示 . 进一步 的 压缩 可 以 使 用 一 些 特别 的 技巧 得 到 一 一 例如 
通过 平均 色差 和 在 更 粗 精度 的 网 格 上 处 理 它们 . 


习题 11.2 


1 求解 下 列 数据 矩阵 X 的 二 维 DCT, HEAR (ijz) ij = 0,1 找到 相应 的 插值 


ofi 


2. 求解 下 列 数据 矩阵 X 的 二 维 DCT, 并 且 为 数据 点 (ij ry) ij=0, ,n 一 1 找到 相 


函数 P2(s,t): 
1 0 1 0 
whe œf o] 


应 的 插值 函数 Pa(s,t): 


10 -10 
1 0 -1 0 
a ; b 
©) oo <1 0 (b) 
10-1 0 
3 3 3 3 
3 -1 -1 3 
d; 
® 3 3 3 3 
可 一 


3. FIREARM 1, cos CADE, cos CHE, 求解 习题 2 中 的 数据 的 最 小 一 乘 逼近 . 
4 使 用 量化 矩阵 Q = ( sods ) 对 下 列 矩阵 进行 量化 ， 写 出 量化 后 的 矩阵 、 


20 100 
去 量化 后 的 矩阵 和 量化 误差 矩阵 . 


coor 


coro 
oroo 


ooo 


] 


(c) 


(a) | 


Eo oo 


orro 


1 0 
0 1 上 


em nm 
oooo 


(有 损 的 ) 
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计算 机 问题 11.2 


1. 


A 


a 


f] 


RAE FIRER X 的 二 维 DCT: 


| 
U 
N 
= 
N 
vene 
mnnon 
=. 


-2 -1 0 1 
d 
D -1 0 1 2 


Oo 2 2 38 


.使 用 计算 机 问题 1 中 的 二 维 DOT, 通过 设 k+1> 4 时 所 有 的 Yen = 0, RH X 的 最 小 


二 乘 低 通 过 滤 的 逼近 . 


， 获 得 所 选择 的 一 个 灰 度 图 像 文件 , 用 imread 命 令 把 它 读 到 MATLAB 中 . 裁减 所 得 矩阵 使 


得 它 的 每 一 维度 都 恰好 是 8 的 倍数 .( 如 果 需 要 , 把 一 个 RGB 彩色 图 像 文 件 通 过 标准 公 

HK X = 0.212 6 R+0.715 2 G + 0.072 2 B 转换 为 灰 度 图 像 .) 

(a) 抽取 一 个 8x8 的 像素 块 , 通过 使 用 MATLAB 命 令 xb=x(81: 88, 81: 88). 使 用 命 
令 imagesc 显 示 图 像 块 . 

(b) 应 用 二 维 DCT. 

(c) 使 用 p = 1, 2, 4 的 线性 量化 矩阵 进行 量化 . 

(qd) 通过 使 用 二 维 DOT 的 逆 对 图 像 块 进行 重 构 , 并 和 原始 图 像 进行 比较 . 

(e) 对 所 有 8x8 的 像素 块 应 用 (a)~(d) 的 过 程 , 并 在 每 一 种 情况 下 重建 图 像 . 


.使 用 JPEG 所 建议 的 p= 1 时 的 矩阵 (11.24) 为 量化 矩阵 , 重新 执行 计算 机 问题 3 中 的 


步骤 


， 获 得 所 选择 的 一 个 彩色 图 像 文 件 . 使 用 线性 量化 分 别 对 R,G,B 实施 计算 机 问题 3 中 的 过 


程 , 然后 重新 组 合成 彩色 图 像 . 


。 获 得 一 个 彩色 图 像 , 然后 把 RGB 值 转换 到 亮度 /色差 坐标 系统 下 . 使 用 JPEG 量化 矩阵 


分 别 对 Y, U,V 实施 计算 机 问题 3 中 的 过 程 , 并 重新 组 合成 彩色 图 像 . 


11.3 Huffman 编码 
有 损 的 图 像 压 缩 需 要 在 图 像 精 确 度 和 文件 大 小 中 做 权衡 . 如 果 图 像 精 确 度 损 


失足 够 小 以 至 于 对 于 图 像 的 某 种 应 用 来 说 很 难 察觉 , 那么 这 种 让 步 是 值得 的 . 精确 
度 的 损失 发 生 在 量化 那 一 步 , 在 把 图 像 转 换 分 成 空间 频率 后 . 无 损 的 压缩 是 指 进 一 
步 的 不 损失 一 点 精度 的 压缩 , 即 指 对 经 DCT 变换 和 量化 后 的 矩阵 进行 有 效 的 编码 . 


本 节 讨论 图 像 的 无 损 压缩 .作为 一 个 相关 的 应 用 , 我 们 有 简单 有 效 的 方法 把 


11.2 节 所 讲 到 的 量化 的 DCT 变换 矩阵 转换 成 JPEG 位 流 . 学 习 这 些 将 使 我 们 粗 
略 地 知道 一 些 基 本 的 信息 论 . 
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11.3.1 “信息 论 和 编码 

我 们 考虑 一 串 符号 组 成 的 信息 . 符号 是 任意 的 , 假设 它们 来 自 有 限 集 . 在 本 节 
E, 我 们 用 一 些 有 效 的 方式 来 编码 , 即 用 二 进 制 数字 或 位 来 对 字符 串 进行 编码 . 位 
串 越 短 , 储存 和 传输 信息 也 就 越 经 济 越 容易 . - 

例 11.5 “对 信息 ABAACDAB 进行 二 进 制 字符 串 编码 . 

由 于 里 边 有 4 个 符号 , 一 种 方便 的 二 进位 编码 是 用 两 位 分 别 来 表示 各 个 字母 . 
例如 , 我 们 可 以 建立 如 下 相应 联系 : 


然后 这 信息 被 编码 成 : 
(00)(01)(00)(00)(10)(11)(00)(01) 


使 用 这 种 编码 , 我 们 总 共 需 要 16 位 来 储存 和 传输 信息 . 

然而 还 有 更 有 效 的 编码 方式 . 为 便于 理解 , 我 们 先 引入 信息 这 个 概念 . 假设 有 
K 个 不 同 的 符号 , 并 且 用 pi 记 第 i 种 符号 在 串 中 任意 点 出 现 的 概率 . 该 概率 可 能 
是 事先 知道 的 , 或 者 可 能 是 依 经 验 把 第 i 种 符号 在 串 中 出 现 的 次 数 除 以 串 的 长 度 估 
计 出 来 的 . 

定义 11.7 串 的 香农 信息 (Shannon information) X#R#H§(Shanon en- 
tropy) 是 了 = 一 2 pi log, pi. 

该 定义 是 以 贝尔 实验 室 (Bell Laboratories) 的 C. Shannon 名 字 命 名 的 , 他 在 
20 世纪 中 叶 做 了 信息 论 的 开创 性 工作 . 字符 串 的 香农 信息 被 认为 是 对 信息 进行 编 
码 时 平均 每 个 符号 所 需 的 最 小 位 数 . 逻辑 是 这 样 的 : 在 平均 意义 下 , 如 果 一 个 符号 
以 pi 的 频率 出 现 , 那么 期 望 用 一 log, Pi 位 来 表示 它 . 例如 , 一 个 有 1/8 的 机 会 出 现 
的 符号 可 以 被 -logz(1/8) = 3 位 符号 000, 001, …, 111 之 一 来 表示 . 为 找到 所 有 
符号 的 平均 位 数 , 我 们 应 该 通过 每 个 符号 i 出 现 的 概率 p 作为 它 的 权重 . 这 意味 
着 对 于 整 条 信息 而 言 , 每 个 位 符号 的 平均 数 是 定义 中 的 和 工 

例 11.6 ” 求 字 符 串 ABAACDAB 的 香农 信息 . 

A,B,C, D 出 现 的 经 验 概率 分 别 为 pı = 4/8 = 2-1, po = 2/8 = 2-?, ps = 1/8 = 
2-3, pa = 2-3, 所 以 香农 信息 为 


4 
1 1 1 1 7 
-Dpilogap = 3X1+i*2+8*3+8X3=7: < 


i=l 
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因此 , 由 香农 信息 估计 每 个 字符 至 少 需要 1.75 位 来 对 该 字符 串 进行 编码 . 由 
于 字符 串 的 长 度 为 8, 用 来 储存 信息 的 最 优 位 数 为 (1.75)(8)=14, 而 不 是 像 我 们 在 
前 面 编码 所 需 的 16. 

事实 上 , 使 用 Huffman 编 码 这 种 方法 能 使 上 述 信息 以 我 们 前 面 所 预测 的 14 位 
来 输送 . 目标 是 赋 给 每 个 符号 一 个 可 以 反映 该 符号 出 现 概率 的 二 进位 数 , 越 常 出 现 
的 符号 码 越 短 . 

我 们 通过 建立 一 个 从 中 可 以 读 取 二 进 制 码 的 树 来 使 用 该 算法 .开始 我 们 选取 
两 个 出 现 概率 最 小 的 符号 , 然后 考虑 “组 合 ” 的 符号 , 赋 给 它们 组 合 概率 . 这 两 个 符 
号 组 成 了 树 的 一 枝 . 然后 重复 上 述 步骤 , 把 符号 进行 组 合并 且 使 它们 成 为 树枝 , 直 
到 只 剩 一 个 字符 组 , 也 就 是 树 的 顶端 . 在 例 11.6 中 , 我 们 首先 两 个 出 现 概率 最 低 的 
符号 C Al D 进行 组 合并 赋 以 概率 1/4. 剩 下 的 概率 分 布 为 A(1/2),B(1/4),CD(1/4). 
再 一 次 把 两 个 出 现 可 能 性 最 小 的 符号 进行 组 合 有 A(1/2),BCD(1/2). 最 后 , 把 剩 下 
的 两 个 进行 组 合 得 ABCD(1). 每 个 组 合 组 成 了 Hufftman 树 的 一 枝 : 


A(1/2) 
0 
B(/4) 
10 
1/8) D(1/8) 
110 111 


一 旦 树 成 了 完全 树 , 每 个 符号 的 Huffman 编码 可 以 从 树 的 顶端 往 下 寻找 得 到 ， 
如 上 所 示 , 当 往 左 枝 时 记 为 0, 往 右 时 记 为 1. 例如 , A 通过 0 来 表示 , C 通过 两 次 
向 右 一 次 向 左 (110) 来 表示 . 现在 例 11.6 中 的 字符 串 可 以 翻译 为 一 个 长 度 为 14 的 
位 流 : 
(0)(10) (0) (0)(110) (111) (0) (10). 


香农 信息 提供 了 二 进位 编码 平均 每 个 字符 的 位 数 的 下 界 . 在 例题 所 示 的 情况 下 ， 
Huffman 编码 达到 香农 信息 界 14/8 = 1.75 位 /字符 . 不 巧 的 是 , 如 下 例 所 示 , 并 不 
是 经 常 可 以 做 到 的 . 


例 11.7 ” 求 字 符 串 ABRA CADABRA 的 香农 信息 并 对 其 进行 Huffman 编码 . 
这 6 个 符号 的 经 验 概率 为 
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注意 空格 也 作为 一 个 符号 . 香农 信息 为 
6 
-Dp logs pi = -Š log a -2x B10g2 2 ~3x 起 bg 5 ~ 2.28 位 /字符 . 


这 是 为 ABRA CADABRA 进 行 编码 时 每 个 符号 所 需 最 小 位 数 的 理论 值 . 为 找到 Hufi- 
man 编码 , 我 们 可 以 用 前 面 介绍 的 过 程 进行 处 理 . 尽管 任意 两 个 概率 为 1/12 的 字 
符 都 可 以 选 作 最 低下 的 树枝 , 但 开始 时 我 们 把 D 和 空格 进行 组 合 . 最 后 一 个 是 A， 
因为 它 具 有 最 大 的 概率 . 一 种 Huffman 编码 如 下 图 所 示 : 


A(5/12) 
0 


B16)  R(/6) Q1/12) 
100 101 110 


ZHI2) (1/12) 
1110 = m 


由 于 A 在 字符 串 中 经 常 出 现 , 它 的 编码 最 短 . ABRA CADABRA 的 二 进位 编码 是 
一 个 长 度 为 28 位 的 序列 : 


(0)(100)(101)(0)(1111)(110)(0)(1110)(0)(100)(101)(0) 


这 个 编码 平均 28/12 = 23 位 /字符 , 比 前 面 计算 的 理论 最 小 值 稍微 大 一 点 . Huffman 
码 并 不 总 是 和 香农 信 SHIR, 但 是 经 常 是 很 接近 的 . 

Huffman 编码 的 秘密 之 处 在 于 , 字符 仅 在 树枝 的 末端 出 现 ， ARENS 
码 不 可 能 成 为 另 一 个 字符 编码 的 开始 . 因此 , 在 把 编码 译 回 符号 时 不 会 出 现任 何 含 
糊 . 

11.3.2 JPEG 格式 的 Huffman 编码 


本 节 专 门 介绍 Huffman 编码 在 实际 应 用 中 的 一 个 拓展 例子 . JPEG 图 像 压缩 
格式 在 现代 数字 摄影 中 随处 可 见 . 这 成 为 理论 数学 和 工程 应 用 相 结合 的 非常 吸引 人 
的 例子 . 
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用 两 种 不 同方 式 对 JPEG 图 像 文件 变换 系数 进行 二 进 制 Huffman 编码 , 一 种 
是 DC 部 分 变换 矩阵 的 (0,0) 元 素 ], 另 一 种 为 8x8 剩 下 的 63 个 元 素 , 也 就 是 所 谓 
的 AC 分 部 . 
定义 11.8 ity 是 一 个 整数 . y 的 大 小 定义 为 
a { floor(loga|yl) +1, y #0, 
0, y=0. 


JPEG 的 Huffman 编码 有 3 个 组 成 部 分 : 一 个 是 DC 部 分 的 Huffman 树 , 另 
一 个 是 AC 部 分 的 Huffman $Y, 还 有 一 个 就 是 整数 识别 表 . 对 于 元 素 y = yoo 的 第 
一 部 分 编码 是 对 y 的 大 小 进行 二 进 制 编码 , 从 下 面 的 DC 部 分 的 Huffman 树 (被 
称 为 DPCM 树 ) 可 以 得 到 : 


和 前 面 一 样 , 当 向 树枝 的 左 端 或 右 端 分 支 时 分 别 记 为 0 或 1. 第 一 部 分 是 二 进 
制 串 的 整数 识别 表 11-1. 


表 11-1 


0,1 
00, 01, 10, 11 
000, 001, 010, 011, 100, 101, 110, 111 
0000, 0001, --- ,0111, 1000, ++- ,1110, 1111 
,30， 00000, 00001, - - - ,01111, 10000, --- ,11110, 11111 
,62,63 000000, 000001, - - - ,011111, 100000,.… ,111110, 111111 


onau ne ojs 


例如 , 元 素 yoo = 13 的 大 小 工 = 4. 根据 DPCM #, 4 的 Huffman 编码 是 
(101). 该 表 也 说 明了 13 的 二 进 制 编码 是 (1101), 所 以 连接 这 两 部 分 的 1011101 可 
以 用 来 储存 DC 系数 . 
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因为 DC 部 分 和 边 上 的 8x8 像素 块 常 有 联系 , 我 们 仅 储存 块 与 块 之 间 的 差 ( 当 
然 , 第 一 块 除外 )，DC 部 分 从 左 向 右 的 差 像 所 示 的 那样 存储 . 这 种 方法 被 称 为 DC 
部 分 的 差 值 脉冲 编码 调制 (DPCM). 
对 于 8x8 像素 块 的 剩 下 的 63 个 AC 部 分 , 游程 编码 用 于 有 效 地 存储 很 多 的 0. 
用 来 存储 63 个 部 分 的 惯用 顺序 是 “之 ”字模 式 : 
0 1 5 6 14 15 27 28 
2 4 7 13 16 26 29 42 
3 8 12 17 25 30 41 43 
9 11 18 24 31 40 44 53 
10 19 23 32 39 45 52 54 
20 22 33 38 46 51 55 60 
21 34 37 47 50 56 59 61 
35 36 48 49 57 58 62 63 


我 们 对 一 个 零 游程 对 (n, L) 进行 编码 , 其 中 n 代表 一 系列 零 的 长 度 , 工 代表 下 
一 个 非 零 元 素 的 大 小 , 而 不 是 对 这 63 个 数字 本 身 进行 编码 . 在 典型 的 JPEG 图 像 
中 经 常 遇 到 的 编码 和 依 JPEG 标准 的 默认 编码 显示 在 AC 部 分 的 Huffman 树 中 . 


(11.26) 


(0,1) (0,2) 


(0, 6) (1, 3) 
(5, 1) (6, 1) 


在 位 流 中 , 从 前 面 的 表 中 , 由 树 (仅仅 识别 元 素 的 大 小 ) 中 得 到 的 Huffman 码 直 
接 跟 着 识别 该 整数 的 二 进 制 码 . 例如 , 元 素 序列 —5, 0, 0, 0, 2 将 表示 成 (0, 3)—5(3, 
2)2, 其 中 (0,3) 意思 是 编码 长 度 为 3 的 数 之 前 没有 0, (3, 2) 意思 是 编码 长 度 为 2 
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的 数 之 前 有 3 个 0. 从 Huffman 树 中 , 我 们 可 以 得 到 (0, 3) 可 以 编 成 码 (100), (3, 
2) 可 以 编 成 码 (111110111). 从 整数 识别 表 中 可 知 , 识别 5 的 是 (010), 识别 2 的 是 
(10). 因此 —5, 0, 0, 0, 2 的 位 流 为 (100)(010)(111110111) (10). 

前 面 的 Huffman 树 仅仅 显示 了 JPEG 中 最 经 常 磁 到 的 游程 编码 . 另外 一 个 有 
用 的 编码 是 (11,1)=1111111001, (12,1)=1111111010, (13,1)=11111111000. 

例 11.8 ”为 JPEG 图 像 文 件 对 (11.21) 中 的 量化 DCT 变换 矩阵 进行 编码 . 

DC 元 素 yoo = -38 通过 DPCM 树 编码 为 (1110), 从 整数 识别 表 得 二 进位 编 
码 为 (011001), 其 大 小 为 6. 接 下 来 考虑 AC 系数 串 . 根据 (11.26), AC 系数 如 下 排 
序 : 13, —20, 4, 一 11, 4, 一 2, 2, 一 3, 3, 0, 1, 一 2, 2, 0, 0, 0, 0, 0, 1, 剩 下 的 全 为 0. 开始 ， 
13 的 编码 大 小 为 4, 所 以 我 们 为 游程 编码 构造 对 (0, 4) 和 从 识别 表 中 得 到 1101. 下 
一 个 数 为 -20, 其 编码 长 度 为 5, 因此 得 (0, 5) 和 01011. 所 有 的 零 游程 对 为 

(0, 4)13(0, 5)—20(0, 3)4(0,4)—11(0,3)4(0,2)—2(0,2)2(0,2)—3 

(0,2)3(1,1)1(0,2)—2(0,2)2(5,1)1 (E0B) 
这 里 的 E0B 表 示 块 的 结尾 (End of Block) 即 剩 下 的 元 素 全 为 0 根据 Huffman W, 
E0B 由 码 (1010) 表示 . 储存 相片 的 某 个 8x8 像素 块 的 位 流 可 以 从 Huffman 树 和 整 
数 识 别 表 得 到 : 

(1110)(011001) 

(1011)(1101)(11010)(01011)(100)(100)(1011)(0100)(100)(100)(01)(01) 

(01)(10)(01)(00)(01)(11)(1100)(1)(01)(01)(01)(10)(1111010)(1)(1010). 
这 89 位 二 进 制 数 精确 地 表示 了 图 11-8a 的 像素 块 一 一 它 是 图 11-6a 的 原始 图 的 很 
合理 逼近 . 平均 每 个 像素 占用 89/64~1.4 位 . 我 们 可 以 发 觉 这 种 编码 比 仅 仅 用 低 通 
过 滤器 和 量化 得 到 的 每 像素 位 数 要 优良 得 多 。 由 于 开始 存储 每 个 整数 要 8 位 , 这 
8x8 的 图 像 压缩 后 只 占 开 始 空间 的 1/5. 

解压 缩 JPEG 文件 的 过 程 包 括 了 压缩 过 程 的 道 . < 

JPEG 阅读 器 把 位 流 解码 成 游程 符号 , 这 组 成 了 8x8 的 DCT 变换 程序 块 , 它 
们 通过 使 用 DCT 的 逆 最 后 依次 转换 回 像素 块 . 


习题 11.3 
1. 求解 下 列 信息 中 每 个 符号 出 现 的 概率 和 香农 信息 : 
(a) BABBCABB; (b) ABCACCAB; (c): ABABCABA. 

. 画 出 习题 1 的 Huffman 树 并 对 信息 进行 编码 . 并 将 香农 信息 和 编码 中 每 个 字符 所 需 的 
平均 位 数 进行 比较 . 

. Hi Huffman 树 并 把 包含 空格 和 感叹 号 的 信息 通过 Huffman 编码 转换 成 位 流 . 并 将 香 
农 信息 和 编码 中 每 个 字符 所 需 的 平均 位 数 进行 比较 . 
(a) AY CARUMBA! (b) COMPRESS THIS MESSAGE (c) SHE SELLS SEASHELLS BY THE 


SEASHORE 


Y 


g 
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4. 使 用 JPEG Huffman 编码 , 将 经 转换 和 量化 的 矩阵 (a)(11.22) 和 (b)(11.23) 转换 成 位 
流 . 
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我 们 回 到 一 维 信号 的 问题 , 并 且 讨 论 音频 压缩 的 一 些 最 新 方法 . 尽管 我 们 可 能 
会 认为 一 维 的 信号 要 比 二 维 好 处 理 一 些 , 问题 在 于 人 类 听觉 系统 在 频 域内 很 敏感 
通过 压缩 和 解压 缩 所 引入 的 噪音 很 容易 被 发 觉 . 因此 , 在 声音 压缩 中 , 通常 使 用 复 
杂 的 技巧 以 隐藏 声音 被 压缩 过 的 事实 . 

我 们 首先 介绍 一 种 新 改进 的 DCT- DCT4, 也 就 是 所 谓 的 改进 的 离散 余弦 变 
换 (MDCT). MDCT 由 一 个 不 是 方 阵 的 矩阵 表示 , 因此 不 像 DCT, DCT4 ANAT 
的 . 尽管 如 此 , 当 应 用 于 重合 的 窗口 时 , 它 可 以 完全 重 构 原始 的 数据 流 . 更 重要 的 
是 , 它 可 以 和 量化 一 起 执行 有 损 压 缩 使 得 带 来 的 声音 质量 失真 最 小 ， 这 种 MDCT 
是 当前 很 多 音频 压缩 文件 格式 的 核心 , 如 : MP3,AAC, WMA. 


11.4.1 MDCT 


我 们 先 介 绍 和 前 面 讲 的 在 形式 上 上 略微 不 同 的 DCT. 经 常 使 用 的 DOT 有 4 个 
不 同 的 形式 . 在 前 面 我 们 使 用 的 DCTI 文件 用 来 压缩 影像 , 而 文件 DCT4 经 常 被 
用 来 压缩 声音 . 

定义 11.9(DCT4) æ= (zo,… ,zn_1)T 的 DCT4 An HME: y = Ex, $ 
PE Anxn see 


By = 2 cos C+ HG + Be ; (11.27) 
像 DCTI1 一 样 , DCT4 中 的 矩阵 E 是 实 的 正 交 阵 : 它 是 方 阵 并 且 它 的 列 是 正 


交 单 位 向 量 . 后 者 是 由 于 E 的 列 是 n x n 实 对 称 阵 


(11.28) 


的 单位 特征 向 量 . 习题 6 要 求 读者 验证 这 一 事实 . 
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下 面 来 看 DCT4 矩阵 列 向 量 的 两 个 重要 事实 . 假设 n 是 固定 的 , 不 仅 要 考虑 
DCT4 矩阵 中 的 n 列 , 还 要 考虑 由 (11.27) 定义 的 j 取 所 有 的 正 整 数 和 负 整 数 的 列 
向 量 . 

引 理 11.10 X cj 记 (11.27) 中 ( 延 拓 的 ) DCT4 EHA j 列 . 对 于 所 有 的 
整数 也 有 (a) ci = c_1-j( 列 关于 了 = —1/2 对 称 ) 和 (bjci = 一 can_1-j( 列 关于 了 = 
n 一 1/2 反对 称 ). 

证 为 证 明 引 理 中 的 (a), 把 j 写成 -1/2+ (7 +1/2), 把 一 1 一 j 写成 -1/2 一 
(j 十 1/2). 使 用 (11.27) 定义 ,对 i 二 1,…,n 一 1 有 


2 (i+) (+ i+2)(-j-2 
o=o pgp = Vcore ETA BD SZ eos EHH) j= 3) 


n 
= 6-4-(j+4) 513 


为 证 明 (b), Hr=n-1/2-j. H j=n-1/2-r f 2n-1-j=n-1/2+r, 
我 们 必须 证 明 cn_l/2_r 十 cn_1/2+r = 0. 通过 余弦 加 法 公式 , 对 i 二 1,… ,n 一 1 有 


VE + ae loo ee (2i+ 1) rx 
ni-r EV n 2n “Va 2 8 on 


十 /2 ii 2i + lisin (2 十 1)rr 
n 2 2n 


% wif? coe HMO _ [2 og M41, (21+ 1) rm 
n-i Vn 2n Vn a a oe 


v2 ,2i+1l ，(2+1l)rr 

io a sin ee sin 

由 于 对 于 任意 的 整数 icos 雪 (2i 十 1)x = 0, 则 得 Cn-1/2-r + Cn-1/24r = 0. 
我 们 将 使 用 DCT4 矩阵 E 来 建立 MDCT. 假设 n 是 偶数 . 我 们 将 使 用 列 cy, 

…, Cap) 建立 一 个 新 的 矩阵 . 引 理 11.10 证 明了 对 于 任意 整数 j, cj 列 可 以 表 为 

DCT4 的 一 列 . 如 图 11-10 所 示 , 对 于 O<i<n—-1 的 ci, 只 是 可 能 要 做 一 种 符号 

改变 . 


C4 C3 Ca Cr % me Cy Ca mo Gam Con Cann 
a SEs em Wii, 
ao & 4 o % G a CT 


图 11-10 引 理 11.10 的 描述 ，co,… ,cn-1 列 向 量 组 成 了 nxn 的 
DCT4 WPF. 根据 引 理 11.10, 对 于 这 范围 外 的 j, 由 (11.27) 
R cy 所 定义 的 列 和 DCTS 中 的 某 列 相当 
定义 11.11 Rn EK, v= (T0, ,Zn_1)T 的 MDCT 是 n 维 向 量 


y= Mz (11.29) 
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其 中 M A nx 2n HHH 


i+2)7+242 
My = Zo G+ E+ De O0<i<n-10<j<2n-1. (11.30) 


和 前 面 介 绍 的 DCT 形式 的 最 主要 不 同 之 处 在 于 : 长 度 为 2n 的 向 量 的 MDCT 
是 长 度 为 n 的 向 量 . 因此 , MDCT 不 是 直接 可 北 的 , 但 是 通过 交 秋 长 度 为 2n 的 向 
量 , 我 们 可 以 达到 同样 的 效果 . 

和 定义 11.9 相 比 , 可 以 把 MDCT 矩阵 M 通过 DCT4 的 列 写 出 来 , 然后 使 用 
引 理 11.10 进行 化 简 : 


M= [es Cham] = [es sna | ev [ezn ean- [ezn + Cpa ] 
= [eg cn- |-en-1 + = ep |-epn-1 col-eo.. — eqn ]. (11.31) 


为 简化 记号 , 记 DCT4 矩阵 的 左 半 部 分 和 右 半 部 分 分 别 为 AM B, 即 E= 
(AIB). 从 左 到 右 交换 单位 矩阵 的 列 定义 , 得 到 的 置换 矩阵 为 


当 置 换 矩 阵 R 乘 在 矩阵 的 右边 时 , 它 把 矩阵 的 右边 的 列 换 到 了 左边 ; 当 乘 在 左边 ， 
它 把 矩阵 的 下 边 的 行 换 到 了 上 边 . 由 于 RR 的 逆 等 于 RR 的 转 置 , 也 等 于 R 本 身 ,我 
们 知道 R 为 对 称 正 交 阵 . 现在 (11.31) 可 以 更 简单 地 写成 


M =(B|~ BR| — AR] — A), (11.32) 


其 中 AR 和 BR È A 和 B 的 列 经 左右 置换 得 到 的 . 
MDCT 的 作用 可 以 通过 DCT4 表示 出 来 . 令 


是 一 个 On 维 向 量 , 其 中 每 个 zx; 是 长 度 为 n/2 的 向 量 ( 记 住 是 偶数 ) 通过 (11.32) 
中 M 的 特征 化 , 有 


Mz=Bz;- BR- ARzs_ Az,=[A|B] ( 75% p(B ), 
zı — Rr2 zı — Rr2 
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FH E fi nxn DCT4 WHER, Roo 和 Ras 表示 zz 和 zs 的 元 素 进行 了 上 下 置 
换 . 这 样 做 非常 有 用 , 我 们 可 以 把 M 的 输出 结果 用 正 交 阵 E 表示 出 来 . 
由 于 nx2n 的 MDCT 矩阵 M 不 是 一 个 方 阵 , 它 不 是 可 逆 的 . 尽管 如 此 , 相 邻 
的 两 个 MDCT 矩阵 的 秩 和 可 以 为 2n, 并 且 一 起 作用 可 以 完全 重 构 = 的 输入 值 . 
MDCT K “it” 可 以 表示 为 2n xm 的 矩阵 N = MT, 它 的 转 置 矩 阵 的 元 素 是 


j 十 了 (十 于 十 工 
Ny = 2 cos Ft DE 8+ De + ++ (11.34) 


n 


尽管 它 和 一 个 矩形 矩阵 很 接近 , 但 它 不 是 事实 上 的 逆 . 通过 对 (11.32) 进行 转 置 , 使 
用 前 面 的 符号 E= (4|B) 来 记 DCT4, RANA 


N= (11.35) 


由 于 如 为 一 个 正 交 阵 , 我 们 得 到 
ATA=I, 
B'B=I, 
ATB = BTA=0, 


Bop IRR nxn 的 单位 阵 . 

现在 我 们 计算 NM, 看 在 什么 意义 下 N 施 逆 于 MDCT HREM. z 像 前 面 一 
样 分 为 4 部 分 . 根据 (11.33) 和 (11.35), A 和 B 的 正 交 性 , 以 及 事实 R? = I, 我 们 
有 


z BT zl — Rag 
z: —RB™ -Rz + z: 
NM | *? | = r | (A(- Ras — 24) + B(x: - Rz2)] = ne 
Zs -RA zs + Ray 
z4 -AT Raz + za 


(11.36) 

在 音频 压缩 算法 中 , 我 们 把 MDCT 应 用 到 折 又 的 数据 向 量 . 由 于 向 量 的 长 度 

是 个 常数 , 由 于 向 量 尾 部 产生 的 人 为 噪音 将 会 以 固定 的 频率 发 生 . 听觉 系统 比 视觉 
系统 对 周期 性 的 误差 甚至 更 敏感 ; 毕竟 , 一 种 固定 频率 的 误差 是 那 种 频率 的 音调 ， 
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是 耳朵 可 以 感觉 到 的 . 假设 数据 通过 折叠 的 方式 表示 . > 


Tı z3 

z2 Ta 
Z= 和 Z= 

x3 Ts 

Ta Te 


为 两 个 2n 维 向 量 , 其 中 nn 为 偶数 , 每 个 mi 为 长 度 为 n/2 的 向 量 . 向 量 Z, 和 Z 
HBT CANKER. 由 于 (11.36) 证 明了 


a, — Ra z3 — Rag 
-Rz; + -Rz 
NMZ, = 1+2: | 和 NMZ = TEA (11.37) 
g3 + Rag Zs + Rze 
Rrs+ za Ras + £6 


我 们 可 以 通过 平均 NMZ: 的 下 半 部 和 NMZ 的 上 半 部 来 精确 地 重 构 ” 维 向 量 
[ca,z4]: 
| i | = $ NMZD),.. an 1 + 3 (NM Za)o, ni (11.38) 
这 个 等 式 介绍 了 N 如 何 用 于 对 经 M 编码 后 的 信号 进行 解码 . 
这 个 结果 在 定理 11.12 中 进行 了 概括 . 
定理 11.12( 折 又 后 MDCT AH) it M 为 nx2n 的 MDCT HM, N = 
MT .ul uz, us An HOH, 又 设 


Wa 
定义 的 n 维 向 量 wi, we, ws, ws 满足 ua = (w2 + w3)/2. 

这 是 精确 的 重 构 . 定理 11.12 经 常 和 连接 起 来 的 n 维 向 量 [wi, ww2,… ,Um-1] 
的 长 信号 一 起 使 用 . MDCT 应 用 于 连接 对 以 得 到 转换 后 的 信号 (v1, v2,… ,vm-1). 
现在 的 有 损 压缩 来 了 .wv; 是 频率 部 分 , 因此 可 以 选择 保留 某 些 频率 而 忽略 另外 一 
些 . 11.4.2 节 将 继续 这 样 做 . 

通过 量化 或 其 他 一 些 手 段 ，vwi 的 内 容 缩减 了 ，(w2,… ,um-1) 可 以 通过 定理 
11.12 被 压缩 . 可 以 看 到 wa 和 um 不 可 能 恢复 ; 它们 应 该 是 信号 的 不 重要 部 分 或 者 
是 先前 人 为 加 进去 的 . 
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例 11.9 AHH MDCT 对 信号 z =[1, 2, 3, 4, 5, 6] 进行 转换 . 然后 使 用 
逆 变 换 重 构 中 间 部 分 [3, 4]. 
BATE AR [1,2,3,4] 和 [3,4,5,6]. Zn = 2 并 置 


1 
nem]? -m0 | | | |-| eee] 
3 1-R(2) -1 b- Te -1.754 9 
4 
3 
PE | a a [|| eet 
5 3- R(4) -1 b-1le 一 3.285 6 
6 
转换 后 的 信号 为 


一 6.849 8 一 10.545 4 
[vilv2] = 
-1.7549 一 3.285 6 


为 了 对 MDCT 进行 道 变换 , ZN AA BA 


b | c 
E:=[A|B]= | ， 
c —b 
| 
并 计算 
By, c -b -1 
wi —RB', —c b 一 7 一 c 1 
=Nv = = = x 
we -RA"v; -b -ec b- Te 7 
—ATy, -b -ec 7 
Bv c -—b -1 
w3 —RB" v2. -c b —11b- c il 
= Nv = T = = \ 
wa —RA™v2 e =< — Me 11 
一 4Tuz -b -ec 11 
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其 中 我 们 已 经 用 了 P+? =1 这 个 事实 . 借助 于 定理 11.12 的 结果 , 我 们 可 以 通过 


w= jomsw=3([7]+[77])-[ 8] 


BMRB [3,4]. 

MDCT 的 定义 和 使 用 不 像 本 章 前 面 所 介绍 的 DCT 那么 直接 . 它 的 好 处 在 于 
SUA RN ART BAB FR. 结果 是 从 两 个 向 量 来 平均 影响 , 减少 在 边缘 可 
见 的 突然 过 渡 而 导致 的 人 为 噪音 . 在 DCT 的 例子 中 , 我 们 可 以 在 重 构 信号 前 过 滤 
或 量化 变换 系数 以 改进 或 压缩 信号 . 接 下 来 , 我 们 将 介绍 加 上 量化 一 步 后 MDCT 如 
何 用 于 压缩 . 


11.4.2 ”位 的 量化 


音频 信号 的 有 损 压 缩 通 过 对 MDCT 输出 的 信号 进行 量化 来 实现 . 本 节 将 对 用 
于 图 像 压缩 的 量化 进行 扩展 , 允许 对 用 来 表示 有 损 信 号 的 位 数 有 更 多 的 控制 . 

从 实数 轴 上 的 开 区 间 (—L, L) 开始 , 见 图 11-11. 假设 目 的 是 想 用 b 位 表示 
(L, L) 上 的 一 个 数 , 并 且 容 许 很 小 的 误差 . 我 们 用 1 位 做 标记 且 量 化 成 一 1 位 
的 二 进 制 数 . 公式 如 下 . 


(—L, L) Bib 位 量化 
量化 : z =round(y/q), 其 中 g= 2L/(2 — 1) 
去 量化 : 9 = gz (11.39) 
-1 0 +1 =u o -0L_o o +10 41 
+ h po 
(a) (b) 


图 11-11 位 量化 . (11.39) 式 的 说 明 . (a)2 位 ; (b)3 位 


作为 一 个 例子 , 我 们 说 明 如 何 用 4 位 来 表示 区 间 (—1,1) 上 的 数字 . $ 9 = 
2(1)/(24 — 1) = 2/15, 用 9 量化 . 数 y= -0.3 由 


来 表示 , By = 0.9 由 
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去 量化 是 上 面 过 程 的 道 . -0.3 的 量化 版 本 去 量化 后 为 
(—2)q = (—2)(2/15) = 一 4/15 ~ —0.266 7, 
而 0.9 的 量化 去 量化 后 为 
(7)q = (7)(2/15) = 14/15 ~ 0.933 3. 


两 种 情况 下 , 量化 误差 都 为 1/30. 

例 11.10 用 4 位 整数 量化 例 11.9 的 MDCT 输出 . 然后 去 量化 , 反 转 MDCT 
且 算 出 量化 误差 . 

变换 矩阵 的 所 有 元 素 位 于 区 间 (-12,12)， 用 L = 12, 4 位 量化 要 求 9 = 
2(12)/ (24 — 1) = 1.6. 则 


| 一 6.849 8 | round (=68%4 8) | | -4 | —100 
w= 一 一 一 


—1.754 9 | round (= -1 


aS | 一 10.545 4 | _, [ round (=) | | -7 | „m 


—3.285 6 | round (=) -2 —010 
变换 的 变量 v1, v2 可 以 用 4 个 4 位 整数 存储 , 共计 16 位 . 
用 g=1.6 去 量化 为 
一 4 -64 | _ -7 -112 ] 
-1 -16 | °°” -2 -32 |7” 
用 MDCT 的 逆 得 到 
—0.971 0 —1.329 6 
| wi | 2na | 00 | | ws | Nm | 15296 
wa 6.525 1 wa 11.572 0 
6.525 1 11.572 0 
以 及 重 构 的 信号 


u lwrw) = 2 (| 65251 |, [ -18296 ]) _ [25977 
BB tee BN | BBO 1.329 6 3.9274 | 


量化 误差 是 初始 信号 和 重建 信号 的 差 : 
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25977] [3 ]|_ [ 04023 
3.927 4 a || | oo726 | 
< 


对 音频 文件 编码 通常 是 通过 对 规定 的 频率 范围 预先 分 配 位 数 进行 ， 实例 检 验 
11 指导 读者 如 何 构建 一 个 使 用 MDCT 及 位 量化 的 完整 编码 译 码 器 (codec), 或 者 说 
是 编码 -解码 草案 . 


习题 11.4 


1. 求 下 列 输入 的 MDOT. 把 结果 用 b= cosx/8 和 c= cos 3r/8 表示 . 
(a) [1,3,5,7] (b) [-2,-112] (e) [4,-1,3,5] 
2. RA 11.9 那样 , 对 于 给 定 的 输入 求 折 又 窗口 长 度 为 4 的 MDCT. 然后 用 MDCT 的 逆 重 
构 中 间 的 部 分 . 
(a) [-3,-2,-1,1,2,3] (b) [1,—2,2,-1,3,0] (c) [4,1,—2,—3,0,3] 
3. 将 (—1,1) 上 的 每 个 实数 量化 为 4 位 , 然后 去 量化 并 计算 量化 误差 . 
(a) 2/3 (b) 0.6 (c) 3/7 
4. 重复 练习 3, 但 量化 为 8 位 . 
5. (—4,4) 上 的 每 个 实数 量化 为 8 位 , 然后 去 量化 并 计算 量化 误差 . 
(a) 3/2 (b) -7/5 (c) 2.9 (d) x 
6. 证 明 对 每 个 偶数 n, n x n 的 DCT4 矩阵 是 一 个 正 交 和 矩阵 . 
7. 在 (-6,6) 中 量化 到 4 位 后 , 重 构 练习 2 中 数据 的 中 间 部 分 . 和 准确 的 中 间 部 分 比较 . 
8. 在 (—6,6) 中 量化 到 6 位 后 , 重建 练习 2 中 数据 的 中 间 部 分 .和 准确 的 中 间 部 分 比较 . 
9. 解释 为 什么 对 任意 的 k 按 (11.27) 定义 的 n 维 列 向 量 ck 可 以 表示 成 列 向 量 cy, 其 中 
O<k < n 一 1. 用 这 种 方式 表示 con 和 con. 
10. 将 一 个 实数 转化 为 区 间 (-L, L) 的 5 位 数 时 , 找 出 量化 误差 的 一 个 上 界 (由 量化 引起 误 
差 , 在 去 量化 中 仍 有 ) 


计算 机 问题 11.4 

1. 写 一 个 可 以 输入 向 量 的 MATLAB 程 序 , 将 MDCT 用 于 每 个 长 度 为 2n 的 窗口 ， 且 像 例 
11.9 WARM RAKE n 的 部 分 . 用 下 面 这 些 输入 信号 进行 试验 . 
(a) n=4, e=[123456789 1011 12] 
(b) n=4, ri =cos(in/6),i =0,--- ,11 
(c) n=8, zi =cos(in/10),i = 0,- +- ,63 

2. 修改 你 在 计算 问题 1 中 的 程序 , EMMA NH ”位 量化 . 然后 重 构 问题 中 的 例子 且 
通过 和 原始 输入 比较 来 计算 重建 误差. 


实例 检验 11 ”把 一 个 简单 自动 码 用 于 MDCT 

音频 文件 的 传输 和 存储 是 现代 通讯 的 一 个 关键 部 分 , 并且 压缩 在 其 中 扮演 相当 重要 的 角 
色 . 在 这 个 实例 检验 中 , 你 将 可 以 基于 MDCT 的 能 力 , 将 音频 信号 分 解 成 频率 部 分 和 11.4.2 
节 介绍 的 位 量化 方法 , 建立 起 一 个 压缩 -解压 缩 草案 的 骨架 . 
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MDCT 应 用 于 一 个 输入 窗口 为 2n 的 信号 值 并 输出 逼近 数据 的 n 个 频率 分 量 (并 且 和 下 
一 个 窗口 一 起 对 后 面 n 个 输入 点 进行 插值 ). 算法 的 压缩 部 分 包含 了 为 节省 存储 空间 的 量化 后 
的 频率 部 分 的 编码 , 如 例 11.10 Pras. 

在 通常 的 音频 存储 格式 里 , 在 量化 过 程 中 对 各 种 频率 部 分 的 位 的 分 配 基于 心理 声学 (研究 
人 类 感知 声音 的 科学 ). 如 频率 掩 模 (在 给 定时 间 里 人 耳 只 能 接受 每 个 频率 段 里 主要 声音 的 经 
验 事实 ) 等 技术 被 用 来 处 理 哪些 频率 是 最 需要 和 最 不 需要 保留 的 . 更 多 的 量化 位 分 配给 更 重要 
的 部 分 . 最 具 竞 争 性 的 方法 是 基于 MDCT 的 并 且 在 处 理 心理 声学 因素 方面 有 差异 . 在 下 面 描 
述 中 , 我 们 将 采用 一 个 只 依赖 于 重要 性 过 滤 的 (倾向 于 为 大 尺度 频率 部 分 分 配 更 多 的 位 ) 忽略 
很 多 心理 声学 因素 的 简化 方法 . 

我 们 开始 介绍 单 音质 声音 的 重 构 . 设 t= 32, 通过 MDCT 分 类 的 最 低下 频率 为 64Hz, 也 
是 人 耳 所 能 感受 到 的 最 小 的 频率 . 一 个 64Hz 的 音调 由 z(t) = cos 2r(64)t 来 表示 , 其 中 t 是 通 
过 秒 来 衡量 的 ,如果 Fe 是 每 秒 的 样本 数 , 那么 1/F,,2/F,,… ,Fs/F。 表示 一 秒 里 的 时 间 步 . 
MATLAB 命 令 

Fs=8192; 

x=cos(2*pi*64*(1:Fs)/Fs); 

sound(x,Fs) 
表示 了 64Hz 音 的 一 秒 . 值 为 8 192 = 2° 字 节 / 秒 的 样本 频率 Fs 非常 常见 , 相应 地 为 2 = 
65 536 位 / 秒 , 对 于 音频 文件 为 64Kb/s 样本 率 . 

以 64 的 整数 倍 64f 代替 64 可 以 得 到 更 高 调 的 声音 , 设 f = 2 或 4 得 到 更 高 的 八 度 音 
Bt. 设 / = 7 则 得 到 448Hz 的 声音 , 它 和 标准 音 (440Hz) 差不多 高 . 如 果 你 朋友 有 这 么 高 和 
完美 的 调 , 他 们 马上 就 会 被 分 心 ， 

下 面 的 Matlab 代码 片段 应 用 了 MDCT 和 量化 , 接着 是 如 11.4 节 所 述 的 快速 去 量化 和 
关于 折 又 部 分 的 逆 MDCT 变换 . 使 用 这 样 的 方式 , 我 们 可 以 看 到 伴随 有 损 压 缩 的 量化 误差 的 
效应 . 

n=32; % length of window 
nb=127; % number of windows; must be > 1 
b=4; L=5; :多 quantization information 
q=2*L/(2*b-1); % b bits on interval [-L, L] 
for i=l:n % form the MDCT matrix 

for j=1:2*n 
M(i,j)= cos ((i-1+1/2) * (j-1+1/2+n/2)*pi/n) ; 


end 
end 
M=sqrt (2/n) *M; 
N=M'; % inverse MDCT 
Fs=8192;f£=7; % Fs=sampling rate 
x=cos ((1:4096) *pi*64*f/4096); % test signal 
sound (x, Fs) % Matlab's sound command 
out=[]; 
for k=1:nb % loop over windows 


x0=x (1+ (k-1) *n:2*n+(k-1) *n)'; 
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yO=M*x0; 
yl=round(y0/q); % transform components quantized 
y2=yl*a; % and dequantized 
w(:,k)=N*y2; % invert the MDCT 
if(k>1) 
w2=w(n+1:2*n,k-1) ;w3=w(1:n,k); 
out=[out; (w2+w3)/2); % collect the reconstructed signal 
end 
end 
pause (1) 
sound (out, Fs) % play the reconstructed tone 


上 述 程序 代码 播放 了 一 个 1/2 秒 448Hz 的 声音 , 然后 是 重 构 的 声音 . 比较 由 程序 代码 中 
变量 b 给 出 的 表示 变换 部 分 的 位 数 改变 的 效果 . 
建议 习题 

1. 用 奇 的 /与 偶 的 相 比 , MDCT 变换 输出 的 结果 有 什么 不 同 ? 解释 为 什么 相对 偶 的 /而 
言 , 奇 的 f 在 声音 的 重 构 中 需要 和 原始 声音 差不多 的 位 数 . 

2. 为 程序 代码 加 一 个 “窗口 函数 ”， 窗 口 函数 在 每 个 窗口 的 末端 把 输入 的 信号 光滑 地 化 为 
0, 抵消 掉 问题 中 信号 不 完全 为 周期 性 的 因素 . 一 个 经 常 的 做 法 是 用 zih 代替 ri, 其 中 当 
窗口 长 度 为 2n 时 , 有 

hi = Vasin C 1/21 =) 


为 撤回 窗口 函数 的 影响 , 对 MDCT 地 的 输出 结果 wa, ws 每 个 部 分 分 别 乘 上 同样 的 hi; 
由 于 窗口 函数 现在 由 1/4 周期 来 弥补 ,这 利用 到 正弦 函数 的 正 交 性 ， 比 较 窗口 函数 关于 
为 很 好 地 重 构 声 音 所 需 位 数 的 结果 . 

3. 介绍 重要 性 采样 .构造 一 个 由 一 些 单 音 组 合成 的 新 的 测试 声音 . 修改 程序 代码 使 得 y 的 
每 32 个 频率 部 分 有 它们 自己 的 量化 数 br. 给 出 一 种 方法 , 使 得 如 果 平 均 的 |yk| RAK, 那 
么 bs 越 大 . 计算 保存 信号 所 需 的 位 数 , 并 且 改 进 你 的 方案 . 

4. 写 两 个 独立 的 子 程序 : 一 个 编码 , 一 个 解码 . 编码 程序 要 写 一 个 表示 量化 MDOT 输出 结 
果 的 文件 (或 MATLAB 变量 ) 和 输出 使 用 的 位 数 . 解码 程序 要 调 入 一 个 由 编码 程序 写 的 
文件 并 重 构 信号 . 

5. 用 Matlab 的 命令 wavread 调 入 一 个 . wav 文 件 , 或 者 调 入 其 他 音频 文件 (可 以 用 handel. 
如 果 调 入 的 是 一 个 立体 音 的 文件 , 那么 需要 分 别 在 每 个 频道 上 处 理 )， 给 出 和 应 用 一 种 用 
于 确定 如 bk 所 表示 的 最 佳 分 配 位 的 方法 . 使 用 编码 程序 压缩 音频 文件 , 并 用 解码 程序 进 
行 解码 . 比较 具有 不 同 压缩 量 结果 的 音质 . 

6. 考虑 业界 用 来 更 有 效 压缩 声音 的 更 多 技巧 , 例如 在 立体 音频 文件 中 , 有 没有 比 对 频道 s1 
和 s2 单独 处 理 的 更 好 方法 ? 为 什么 对 (si + sz)/2 和 (si — sz)/2 压缩 有 可 能 有 更 好 的 结 
RR? 


软件 和 进一步 阅读 


关于 数据 压缩 更 好 的 例子 介绍 , 可 以 参看 [6, 11, 10]. 关于 图 像 和 声音 压缩 的 通用 参考 书 
是 [1, 8]. 参考 资料 [9] 是 获得 DCT 信息 的 一 个 很 好 资源 .Huftman 编码 最 早 的 文章 是 [4]. 
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我 们 已 经 介绍 了 图 像 压缩 JPEG 标准 的 基线 [13]. 完整 的 标准 可 以 在 [7] 中 找到 . 最 新 的 
压缩 标准 JPEG-2000 允许 用 小 波 分 析 代替 DOT.. 

很 多 声音 压缩 的 协议 都 基于 MDCT[14, 5]. 更 详细 的 关于 单 格式 的 信息 可 以 相应 地 找到 ， 
如 MP3[3], AAC( 高 级 音频 编码 , 用 于 Apple ITunes 和 QuickTime 视频 , 以 及 XM 卫星 广 
播 ) 和 开放 资源 的 音频 格式 Ogg-Vorbis. 


第 12 章 ”特征 值 和 奇异 值 


使 用 万 维 网 , 新 用 户 也 很 容易 访问 到 大 量 信息 : 非常 大 , 信息 量 事实 上 , LAK 
大 的 搜索 引擎 的 导航 是 必 不 可 少 的， 技术 上 已 经 能 提供 小 型 化 和 低 成 本 的 传感器 ， 
使 得 研究 人 员 可 以 使 用 大 量 的 数据 . 如 何 用 有 效 的 方式 来 使 用 这 些 大 量 的 信息 ? 

探索 技术 和 发 现 知识 的 许多 方面 一 般 得 益 于 转化 成 特征 值 或 奇异 值 问题 的 处 
理 方法 . 解 这 些 高 维 问题 的 数值 方法 产生 正规 较 低 维 子 空间 投影 . 这 恰好 是 简化 复 
杂 数 据 环境 最 需要 的 . 

实例 检验 12.2.3 节 后 的 实例 检验 12, 研究 被 某 一 著名 的 网 站 搜索 提供 程序 
使 用 的 、 称 为 世界 上 最 大 的 持续 进行 的 特征 值 计算 . 


SRP IE ALAS HE SUG ESE FEI AR EAS RAR, 这 是 一 类 特征 空间 的 不 动 点 迭 
AR. 这 种 思想 的 成 熟 形式 , 称 为 QR REAR, 是 一 种 求 典 型 矩阵 的 所 有 特征 值 的 标准 
算法 . 

奇异 值 分 解 揭示 了 矩阵 的 基本 构造 , 并 且 大 量 用 于 统计 应 用 中 以 寻求 数据 之 间 
的 关系 . 本 章 介绍 求 方 阵 的 特征 值 和 特征 向 量 的 方法 , 以 及 一 般 矩 阵 的 奇异 值 和 奇 
异 向 量 的 方法 . 


12.1 PARDA 


对 于 计算 特征 值 , 没有 直接 方法 . 情况 类 似 于 求 根 , 这 是 由 于 所 有 可 行 的 方法 
都 与 某 种 类 型 的 迭代 有 关 . 本 节 , 我 们 首先 考虑 问题 是 否 可 能 化 为 求 根 . 

附录 A 给 出 一 种 计算 m x m 矩阵 的 特征 值 和 特征 向 量 的 方法 , 这 种 以 求 m 
次 多 项 式 的 根 为 基础 的 方法 , 对 2 x 2 矩阵 效果 良好 . 对 于 较 大 的 矩阵 , 这 种 方法 需 
要 第 1 章 研究 过 的 那 种 类 型 的 求 根 方法 . 

如 果 我 们 回想 起 第 1 章 中 的 Wilkinson 多 项 式 , 这 种 求 特征 值 方法 的 困难 就 清 
楚 了 . 我 们 已 经 知道 , 多 项 式 系数 的 很 小 改变 可 以 任意 大 地 改变 多 项 式 的 根 . 换 言 
之 , 把 系数 带 入 到 根 的 输入 /输出 问题 的 条 件数 可 能 极 大 . 因为 特征 多 项 式 的 系数 计 
算 将 受制 于 机 器 舍 入 误差 或 者 更 大 , 所 以 用 这 种 方法 求 特征 值 对 大 的 误差 敏感 . 这 
种 困难 很 大 , 作为 精确 计算 特征 值 的 路 径 , 这 种 求 特征 多 项 式 的 根 的 方法 以 致 要 被 
取消 . 

这 种 方法 精度 很 差 的 简单 例子 来 自 Wilkinson 多 项 式 的 存在 . 如 果 试 图 求 矩 阵 
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> ey ee 7 (12.1) 


的 特征 值 , 我 们 将 计算 特征 多 项 式 P(x) = (z 一 1)(z — 2)-+- (z — 20) 的 系数 , 并 
一 种 求 根 方法 去 求 根 . 然而 , 如 第 1 章 所 示 , P(z) 的 机 器 形式 的 某 些 根 与 P(z) 的 
真实 形式 的 根 ( 即 4 的 特征 值 ) 相差 甚 远 . 


亮点 ”条 件 作用 

“特征 多 项 式 方法 ”受到 的 大 误差 并 不 是 求 根 方法 的 错误 . 完全 精确 
的 求 根 方法 的 遭遇 不 会 更 好 . 当 为 了 输入 求 根 方法 , 而 把 多 项 式 乘 开 来 确 
定 它 的 系数 时 , 一 般 地 , 系数 将 受制 于 机 器 < 的 阶 的 误差 . 然后 将 要 求 求 
根 方法 去 求 稍微 错误 的 多 项 式 的 根 , 就 像 我 们 已 看 到 的 , 这 可 能 有 灾难 性 
的 结果 . 对 这 个 问题 没有 一 般 的 解决 办 法 . 克服 这 个 问题 的 唯一 方法 可 能 
是 增加 代表 浮 点 数 的 尾数 的 长 度 , 这 有 可 能 降低 机 器 = 的 影响 . 如 果 能 使 
机 器 < 比 1/cond(P) 低 , 那么 就 能 对 特征 值 保证 精度 . 当然 , 这 其 实 并 不 
是 一 种 解决 办 法 , 仅仅 是 “一 场 不 可 能 胜利 的 军备 竞赛 ”的 升级 而 已 . 如 
果 使 用 更 高 精度 的 计算 , 那么 我 们 总 是 可 以 把 Wilkinson 多 项 式 推广 到 更 
高 次 以 求 更 高 的 条 件数 . 


本 节 介绍 的 方法 基于 把 矩阵 的 高 次 寡 乘 上 一 个 向 量 , 它 一 般 将 随 着 容 次 的 增 大 
而 转化 成 特征 向 量 . 我 们 以 后 将 改进 这 种 思想 , 但 是 在 最 复杂 的 方法 中 保留 它 的 形 
迹 . 
12.1.1 PAR 

FERAL ELL TR A — AE EE EAE FB. 

EX 12.1 HA X mx m 4M, A 的 主 特征 值 (dominant eigenvalue) 是 这 
样 一 个 特征 值 , 其 大 于 A 的 所 有 其 他 特征 值 . 如 果 它 存在 , 那么 与 和 对 应 的 特征 
向 量 称 为 主 特征 向 量 (dominant eigenvector). 


FERE 
a-|; | 
2 2 


有 主 特征 值 4 与 特征 向 量 [1, 17, 以 及 较 小 的 特征 值 — 1 与 相应 的 特征 向 量 (—3, 2]7. 
我 们 观察 把 矩阵 A 乘 以 “随机 的 ”向 量 ( 警 如 说 [—5,5]7) 的 结果 : 
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we le 

10 |_| 10 

oj [2f 

10] [70 
| [20] [60 |’ 
] 25 

[3 ]-[2]-»[ 8]. 
| | 60 260 1 
用 矩阵 4 重复 乘 以 随机 初始 向 量 , 其 结果 是 把 这 个 向 量 移 到 非常 接近 A 的 主 特征 
向 量 . 这 不 是 巧合 , 可 以 通过 把 ro 表示 为 特征 向 量 的 线性 组 合 来 证 明 这 一 点 : 


引 


1 
zo=1 +2 
oft] 


就 此 而 论 重新 写 出 以 下 计算 : 


1 -3 
= 4zo =4 一 2 F 
i 72 [| | Al 
3 


ma = 42zo = 4? | 


UL 
+ 
i 
| 
w 


1 
z3 = 43zo = 43 i -2 


a= Aten =a] 1] + 二 | -|i Jef] 
其 特点 是 : 与 在 绝对 值 上 最 大 的 特征 值 对 应 的 特征 向 量 在 若干 步 之 后 将 主导 这 个 
计算 . 本 例 中 , 特征 值 4 最 大 , 所 以 计算 朝 着 方向 为 [1,17 的 特征 向 量 移动 得 越 来 
越 近 . 

为 了 掌控 这 些 数 避 免 失 去 控制 , 必须 在 每 一 步 标准 化 向 量 . 做 到 这 点 的 一 种 方 
法 是 : 在 每 一 步 之 前 把 目前 的 向 量 除 以 它 的 长 度 . 这 两 种 运算 , 标准 化 和 用 4 相 乘 ， 
HIRT PEER. 

当 这 些 步骤 提供 了 改进 的 近似 特征 向 量 后 , 我 们 如 何 求 近似 特征 值 ? 把 问题 提 
得 更 一 般 些 , 假设 矩阵 A 和 近似 特征 向 量 已 经 知道 . 相应 的 特征 值 的 最 佳 估计 是 
什么 ? 

我 们 将 求助 于 最 小 二 乘 . 考虑 特征 值 方程 zp 和 = Az, 这 里 z 是 近似 特征 向 量 ， 
而 和 未 知 . 考虑 这 个 方法 , 系数 矩阵 是 n x 1 矩阵 =. 正规 方程 表明 最 小 二 乘 的 答 
RE zTzA= zT4z 的 解 , 或 者 
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al Ar 
= 12.2 
à ate’ (12.2) 


称 之 为 Rayleigh 商 . 对 于 给 定 的 近似 特征 向 量 , Raylegh 商 是 最 佳 近似 特征 值 . 对 
标准 化 特征 向 量 应 用 Rayleigh 商 就 把 特征 值 的 近似 值 加 到 寡 迭 代 . 


FAR 
给 定 初 始 向 量 zo. 
for j = 1,2,3,--- 


uj- = £j-1/læ; l| 
æj = Auj-1 
dj = up Auj-1 
end 
BRIERE A 的 主 特征 向 量 , 从 初始 向 量 开始 . 每 一 次 迭代 包括 对 目前 向 量 的 
标准 化 和 用 A HR. Rayleigh 商用 于 近似 特征 值 MATLAB norm 命 令 使 它 执 行 简 
单 , 如 以 下 代码 所 示 : 
% Program 12.1 Power Iteration 
% Computes dominant eigenvector of square matrix 
% Input: matrix A, initial (nonzero) vector x, number of steps k 


% Output: dominant eigenvector x, eigenvalue lam 
function [lam,x]=powerit (A,x,k) 


for j=1:k 
u=x/norm (x) ; % normalize vector 
x=A*u; % power step 
lam=u'*x; % Rayleigh quotient 

end 

亮点 ”收敛 性 


吞 迭代 本 质 上 是 在 每 一 步 进行 标准 化 的 不 动 点 迭代 . 像 FPI 一 样 , 它 
是 线性 收敛 , 就 是 说 当 收敛 时 , 在 每 一 个 迭代 步 误差 通过 常数 因子 减 小 . 
在 本 节 后 面 , 我 们 将 遇 到 二 次 收敛 的 赛 和 迭代 的 变形 , 它 称 为 Rayleigh FI 
代 . 


12.1.2 ”器 迭代 的 收敛 性 


我 们 将 在 特征 值 的 某 些 条件 下 证 明和 军 迭 代 的 收敛 性 ， 尽 管 这 些 条 件 不 完全 具 
有 一 般 性 , 但 是 它们 可 用 来 证 明 为 什么 该 方法 在 这 种 最 明显 的 情形 下 是 成 功 的 . 以 
后 我 们 将 不 断 收集 更 复杂 的 特征 值 方法 , 它们 建立 在 罕 迭 代 的 基本 原理 上 , 可 适用 
于 更 一 般 的 矩阵 . 

定理 12.2 设 和 A 是 mxm BH, 有 实 特征 值 入,… Am 满足 | 和 1| > [Aa] > 
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|Xs| > +++ > |Aml. 假设 A 的 特征 向 量 张 成 R™. 对 几乎 每 一 个 初始 向 量 , FRR 
性 收 全 于 相应 于 Ai 的 特征 向 量 ， 其 收 全 过度 常数 3 一 |) 

证 Ron on 是 形成 Rn 的 一 组 基 的 特征 向 量 它们 分 别 相应 于 特征 值 
Days Ane 把 初始 向 量 在 这 组 基 上 表示 为 zo = cv 十 … 十 cuon， 系数 分 别 是 ci 
“对 几乎 每 一 个 初始 向 量 ” 意思 是 我 们 可 以 假设 cca £0. ARRAS 


AZo = clAliul + CoAQV2 + 二 CnÀnUn, 
42zo = clXiol + ca M02 + +--+ cnA2vn, 


A®zo = cA, + caABv2 + -+ cnA3vn, 


在 每 一 步 进 行 标准 化 . 当 步 数 上 一 co 时 , 无 论 怎 样 进行 标准 化 , 右边 的 第 一 项 都 将 
5h, 这 是 因为 
k k k 
Ae = clV1 十 c2 (2) V2 十 … 十 cn (3) Un. 
1 
对 i > LJA > | 和 i| 的 假设 意味 着 右边 除了 第 一 项 以 外 的 所 有 项 将 以 收敛 速度 
SSIR 收敛 到 零 ， HARK ca £0, 恰好 就 是 那个 收敛 速度 S. 结果, 这 个 方法 以 
收敛 于 主 特征 向 量 v 的 一 个 倍数 , 其 特征 值 是 入 1. 
在 定理 结论 中 的 术语 “几乎 每 一 个 " 意思 是 使 迭代 失败 的 初始 向 量 集合 是 R™ 
中 较 低 维 的 集合 . 特别 地 , WR zo 不 包括 在 由 [v1,v3,… Um] 及 [v2 v3, ,vm] 
张 成 的 (m — 1) 维 平面 的 组 合 之 内 , 那么 迭代 将 以 确定 的 速度 收敛 . 
12.1.3 ARR 


FESR TE (绝对 值 ) 最 大 的 特征 值 . WR PM, 那 
么 就 能 找到 最 小 的 特征 值 . 

引 理 12.3 i mx m 4B A 的 特征 值 用 和 1, 和 2,… ,Am 表示 (a) BSE 
AT! 的 特征 值 是 和 Ai!, 和 3?，… An), 假定 逆 矩 阵 存在 ， 特 征 向 量 与 A 的 特征 向 量 
相同 . (b) 移 位 答 阵 A 一 sT 的 特征 值 是 Xi — s, 和 2 一 3,… ,Mm 一 s 并 且 特 征 向 量 与 
A 的 特征 向 量 相同 . 

证 (a) Av = Xu 意味 着 0 二 和 A Lu, 因此 A 1v = (4)v. 注意 特征 向 量 没 
有 改变 . (b) 从 Av = 和 wv HARK sIv. ABA (A-sI)v =(A—s)v Æ (A -— sI) 的 
特征 值 定义 , 并 且 还 能 用 相同 的 特征 向 量 . 

根据 引 理 12.3, 矩阵 AT 的 绝对 值 最 大 的 特征 值 是 4 的 绝对 值 最 小 的 特征 值 
的 倒数 . FRU BIE. 把 结果 得 到 的 A 的 特征 值 反 过 来 , 给 出 4 的 绝 
对 值 最 小 的 特征 值 . 
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为 了 避免 A 的 逆 的 显 式 的 计算 , 我 们 对 A BARE, 即 
mkH1 = AEk, (12.3) 
写成 等 价 的 
Amk+l = Tk, (12.4) 
然后 可 以 用 Gauss 消去 法 解 出 zk+l. 

现在 我 们 知道 如 何 求 矩阵 的 最 大 和 最 小 特征 值 . 换言之 , 对 一 个 100 x 100 4E 
阵 , 我 们 完成 了 2%, 如 何 求 其余 的 98% W? 

一 种 方法 是 受到 引 理 12.3(b) 的 启发 . 可 以 用 接近 特征 值 的 数值 通过 对 4 进 
行 移 位 , 使 任何 其 他 的 特征 值 变 小 . 如果 我 们 碰巧 知道 有 一 个 特征 值 靠近 10( 辟 如 
说 10.05), 那么 A - 107 有 一 个 特征 值 A = 0.05. 如 果 它 是 A - 107 的 绝对 值 最 小 
的 特征 值 , 那么 逆 宕 迭代 zk+l = (4 — 101) ter 将 确定 它 . 也 就 是 说 , 逆 宕 迭代 将 
收敛 于 倒数 hy = 20, 在 我 们 把 它 倒 过 来 成 为 0.05 并 且 加 回 移 位 就 得 到 10.05. 这 
个 诀窍 将 确定 移 位 后 最 小 的 特征 值 : 它 是 表明 特征 值 最 接近 移 位 的 另 一 种 方法 . 总 
结 一 下 , 我 们 写 


Ma 
给 定 初始 向 量 zo 以 及 移 位 s 
for j = 1,2,3,--- 


uj—1 = 2j-1/|zi-1ll 
解 (A — sI)zj = uj-1 
dj = Up; 
end 
BOR A 的 最 接近 实数 s 的 特征 值 , 对 (A — s1) FREED (4 一 s 站 一 
的 绝对 值 最 大 的 特征 值 b. FERRE (A - sT)yk+i = zk 用 Gauss 消去 法 
求解 而 完成 . 那么 和 = b-1+s 就 是 A 的 最 接近 s 的 特征 值 . 与 和 对 应 的 特征 向 量 
直接 从 计算 中 给 出 . 


% Program 12.2 Inverse Power Iteration 

% Computes eigenvalue of square matrix nearest to input s 

% Input: matrix A, (nonzero) vector x, shift s, steps k 

% Output: dominant eigenvector of inv (A-sI), eigenvalue lam 
function [lam,x]=invpowerit (A,x,s,k) 

As=A-s*eye(size(A)); 


for j=1:k 
u=x/norm (Xx) ; % normalize vector 
x=As\u; % power step 
lam=u'*x; % Rayleigh Quotient 
end 


lam=1/lam+s; 
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例 12.1 假设 4 是 5x5 拢 阵 ,其 特征 值 是 —5,—2,5,3,4. 当 使 用 (a) FE 
代 ; (b) FEN, 移 位 s = 0; (c) WERN, 移 位 s = 2 时 , 求 特征 值 和 预期 的 收敛 
速度 . 

(a) 带 有 随机 初始 向 量 的 寡 和 迭代 收敛 到 绝对 值 最 大 的 特征 值 -5, 收敛 速度 s = 
Het = 2. (>) UREN (没有 移 位 ) 将 收敛 到 最 小 的 特征 值 2, 这 是 因为 它 的 倒数 比 
其 他 倒数 —2,—2, 2, 3 大. 收敛 速度 将 是 逆 矩 阵 的 两 个 最 大 特征 值 的 比 ,。= ($ = 2, 
(c) 带 有 移 位 s = 2 的 逆 寡 迭代 将 确定 最 接近 2 的 特征 值 , 它 是 其 理由 是 : 特征 
值 移 位 到 —7,—4,-3,-},2 之 后 , 倒数 的 最 大 者 是 -2. 求 倒数 后 得 到 一 去, 再 加 区 
BAL s = 2, 我 们 得 到 3. 收敛 速度 还 是 比 (3)/2 = 5. < 


12.1.4 Rayleigh PRR 


Rayleigh 商 可 以 与 逆 寡 迭代 结合 起 来 使 用 . 我 们 知道 它 收 敛 到 对 应 于 与 移 位 s 
距离 最 小 的 特征 值 的 特征 值 , 而 且 如 果 这 个 距离 小 , 那么 收敛 快 . 如 果 循 着 方法 的 
任 一 步 知 道 近似 特征 值 , 那么 可 以 把 它 用 作 移 位 s 来 加 速 收敛 . 

把 Rayleigh 商用 作 逆 寡 迭 代 中 的 最 新 移 位 导致 Rayleigh 商 迭 代 (RQIT). 


Rayleight WAR 
给 定 初始 向 量 zo. 
for j =1,2,3,... 
uj- = Bj-1/ N21 
Aja = up, Aur 
RR (A Aj aD a; = uji 
end 


% Program 12.3 Rayleigh Quotient Iteration 

% Input: matrix A, initial (nonzero) vector x, number of steps k 
% Output: eigenvalue lam and eigenvector x 

function [lam,x]=rqi(A,x,k) 


for j=l:k 
u=x/norm(x) ; % normalize 
lam=u'*A*u; % Rayleigh quotient 
x= (A-lam*eye(size(A)))\u;  % inverse power iteration 
end 
x=x/norm (x); 
lam=x'*A*x; % Rayleigh quotient 


虽然 道 寡 和 迭代 线性 收敛 , 但 是 Rayleigh 商 迭 代 对 于 简单 的 ( 非 重 ) 特征 值 是 二 
次 收敛 的 , 而 且 如 果 矩 阵 对 称 它 将 是 三 次 收敛 的 . 这 就 意味 着 这 种 方法 收敛 到 机 器 
精度 只 需要 很 少 步 . 收敛 之 后 , 矩阵 A-A 是 奇异 的 而 且 不 必 执 行 更 多 的 步骤 . 
注意 对 RQI 而 言 复杂 性 已 经 产生 . BARAK LU 分 解 ; 但 是 对 于 RQI, 


504 “第 12 Hiiti Ha 


因为 移 位 已 改变 , 故 每 一 步 需 要 一 次 新 的 分 解 . 即使 如 此 , Rayleigh 商 和 迭代 是 本 节 
中 提出 的 每 一 次 求 一 个 特征 值 的 收敛 最 快 的 方法 . 在 12.2 节 中 , 我 们 讨论 在 同样 
的 计算 中 求 矩 阵 的 所 有 特征 值 的 方法 . RAT ARR: 这 仅 是 会 变 得 更 复 
杂 的 组 织 细节 . 
习题 12.1 
1. 求 以 下 对 称 矩 阵 的 特征 多 项 式 、 特 征 值 以 及 特征 向 量 : 
35 -15 0 2 -0.2 -24 136 -48 
of 3.5 |: wfs i; olz 12 |: | 164 | 
2. 求 以 下 矩阵 的 特征 多 项 式 、 特 征 值 以 及 特征 向 量 : 
7 9 2 6 22 06 32 45 
wlz Ar wf? s| o[ 2, Wag ola Sik 


3. 求 以 下 矩阵 的 特征 多 项 式 、 特 征 值 以 及 特征 向 量 : 


1 0 1 1 0 ~} -} -} 一 
(los -2]; œ| 0 1 2 |; @){-1 0 2 
0 0 2 -1 1 1 -} i 3 


4 证明 方 阵 和 它 的 转 置 有 相同 的 特征 多 项 式 , KIEA AFIRE. 
5. 假设 A 是 具有 给 定 特 征 值 的 3 x 3 和 矩阵， 确定 对 哪 一 个 特征 值 而 言 , 街 先 代 将 收敛 , 并 
且 确 定 收敛 速度 常数 S. 
(a) {3,1,4}; (b) {3,1,-4}; (©) (-1,2,4}; (d) (1,9, 10}. 
6. 假设 A 是 给 定 特征 值 的 3 x 3 矩阵 . 确定 对 哪 一 个 特征 值 ， BERRIEN, 并 且 确定 收 
SUE HS. 
(a) {1,2,7}; (b) {1,1,-4}; (c) {0,—2,5}; (d) {8,—9, 10}. 
7. 假设 A 是 给 定 特征 值 的 3 x 3 矩阵. 确定 对 哪个 特征 值 , 带 有 给 定 移 位 s KURRE 
Wed, 并且 确 定 收敛 速度 常数 S. 
(a) {3,1,4},s = 0; (b) {3, 1, —4}, s = 0; 
(c) {-1,2,4},s=0; (d) {1,9,10}, s = 6. 
8. 假设 A 是 给 定 特 征 值 的 3 x 3 AERE. 确定 对 哪 一 个 特征 值 , WAA EANET 
收敛 , 并 且 确 定 收敛 速度 常数 S. 
(a) {3,1,4},s=5; (b) {3,1,-4},8=4; 
(c) {-1,2,4},s=1; (d) {1,9,10},s=8. 


a g | . (a) R 4 的 所 有 特征 值 及 特征 向 量 .(b) 取 初始 向 量 wo = [1,0], 采 


用 3 PERR, 在 每 一 步 , 用 目前 的 Rayleigh 商 近似 特征 值 . (c) 预测 用 带 有 移 位 s = 0 
RARER. (d) 用 移 位 s = 3, 预测 逆 写 迭代 的 结果 . 

—2 1 
3 0 


oua] 


10. HA= | | 2 对 这 个 矩阵 执行 习题 9 RE. 
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11. 如 果 A 是 特征 值 为 -6, 一 3, 1,2,5,7 的 6 x 6 矩阵 , 以 下 算法 将 求 得 A 的 哪 一 个 特征 值 ? 
(a) FER; (b) 带 有 移 位 s = 4 MERE) 求 这 两 种 计算 的 线性 收敛 速 度 , 哪 一 种 
收敛 得 较 快 ? 


计算 机 问题 12.1 
1. 对 赛 和 迭代 方法 使 用 提供 的 代码 (或 你 自己 的 代码 ), R 4 的 主 特征 向 量 , 并 且 通 过 计算 
Rayleigh 商 估计 主 特征 值 . 把 你 的 结果 与 习题 5 的 相应 部 分 进行 比较 : 
一 14 20 10 
-19 27 12 
23 -32 -13 
12 一 4 一 2 
12 -15 -7 19 -19 -10 
-18 26 12 -35 52 27 
2. IARRI EEEE (或 你 自己 的 代码 ), 检验 你 从 习题 7 得 出 的 结果 , 可 用 
计算 机 问题 1 中 相应 的 矩阵 . 
3. 对 逆 宕 迭代 方法 , 用 计算 机 问题 1 中 相应 的 矩阵 , 检验 你 从 习题 8 得 出 的 结果 . 
4. 对 计算 机 问题 1 中 的 矩阵 应 用 Rayleigh 商 迭 代 , 试用 不 同 的 初始 向 量 直到 求 出 全 部 3 个 
特征 值 . 


10 -12 -6 

5 -5 -4 

-1 0 3 
8 -8 -4 


i (b) ; 


(a) 


(c) ; (qd) 


12.2 QR 算法 


本 节 的 目标 是 建立 同时 求 出 全 部 特征 值 的 方法 ， 我 们 从 应 用 于 对 称 矩 阵 的 方 

法 开始 , 以 后 把 它 补充 到 一 般 情况 下 使 用 . 因为 对 称 矩 阵 的 特征 值 是 实数 并 且 它们 
. 的 单位 特征 向 量 形成 Rw 的 一 组 标准 正 交 基 , 所 以 对 称 矩 阵 比较 容易 处 理 ( 见 附录 
A). 它 促使 平行 地 对 m AS LAPIN, 这 里 我 们 积极 地 做 到 保持 向 量 彼 此 正 交 . 


12.2.1 同时 迭代 

假设 我 们 从 m 个 两 两 正 交 的 初始 向 量 v1,… ,wm 开始 . 对 每 一 个 向 量 用 一 步 
FESR, Av1,… , Avm 不 再 保证 彼此 正 交 . 事实 上 , 进一步 用 4 相 乘 之 后 , 根据 
定理 12.2, 它们 都 可 能 倾向 于 收敛 到 主 特征 值 . 

为 了 避免 这 一 点 , 我 们 在 每 一 步 对 这 m 个 向 量 重新 正 交 化 . m 个 向 量 同时 用 
AHR, 高 效 地 写成 矩阵 乘积 


4[wil…|wm]- 


在 第 4 章 我 们 发 现 , 可 以 把 正 交 化 步 看 成 把 结果 得 到 的 乘积 分 解 为 QR. 如 果 把 基本 
基 向 量 用 作 初 始 向 量 , 那么 寡 和 迭代 的 第 一 步 通 过 重新 正 交 化 得 到 的 是 4T = Qi Ri, 
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或 者 
0 rh orh hm 
0 1 rh, > 

4| jaf. ea]. |] = atl lanl = 


1 
Timm 


(12.5) 
Mt i= 1 …，,m, 避 是 在 寡 和 迭代 过 程 中 单位 向 量 的 新 的 正 交集 . 下 面 重复 这 一 步 : 


AQ, =[AG|AG| ++ Agh] 


Th the o rim 
: (12.6) 
=B 122) © | |=@m 


2 
Tmm 


换言之 , 我 们 已 经 建立 了 同时 寻求 对 称 矩 阵 的 所 有 m MRE IE SR ERS AR ERE 
形式 . 


标准 化 的 同时 选 代 

E= 

for j = 1,2,3, 

AQ; m, Qjp Ris 

end 

在 第 j 步 , @; 的 各 列 近似 于 A 的 特征 向 量 , 而 且 对 角 元 素 ria rhm 近似 
于 特征 值 . 在 MArrAB 代 码 中 , 这 个 我 们 将 称 为 标准 化 的 同时 迭代 (NST) 的 算法 , 可 
以 写 得 非常 简洁 . 


% Program 12.4 Normalized Simultaneous Iteration 
% Computes eigenvalues/vectors of symmetric matrix 
% Input: matrix A, number of steps k 
% Output: eigenvalues lam and eigenvector matrix Q 
function [lam,Q]=nsi(A,k) 
{m,n]=size(A); 
Q=eye (m,m) ; 
for j=1:k 
[Q,R]=qr (A*Q) ; % QR factorization 
end 
lam=diag(Q'*A*Q); % Rayleigh quotient 
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可 以 得 到 更 简洁 的 方法 执行 标准 化 的 同时 迭代 . 设 Qo = I, 那么 NSI 如 下 : 
AQ, = QR, 
AQ, = Q2R2, 
s r (12.7) 
AQ, = Q3Rs, 
考虑 相似 迭代 Qi =I, 以 及 
Ao = AQ, = Qi Ri, 
Ai = RQ, = QR, 
(12.8) 
A2 = RQ, = Q3R3, 


我 们 将 称 之 为 非 移 位 QR 算法 . 仅 有 的 不 同 是 在 第 一 步 后 不 再 需要 A; 它 被 目前 
的 Re 所 代替 . 比较 (12.7) 和 (12.8) 表明 我 们 可 以 在 (12.7) 中 选取 Q, = Q, 以 及 
R, = Rj. 进而 , 由 于 


Q2R2 = AQ, =QRQ = Qı RQ, =QiQ2P2， (12.9) 


我 们 可 以 在 (12.7) 中 选取 Q, = QQ, UR Ro = R} 事实 上 , 如 果 我 们 已 经 选取 
Qr-1 = Q1 Qk_1 以 及 Rj-1 = R}_1, 那么 


Q;Rj =AQj_1 = AQ, Qa = Q2R2Q2 -Qj 
=Q2Q;R3Q3 Qi = Q1Q2Q3Q,R4Qa Qi (12.10) 
=: = Q1 QR, 


并 且 , 我 们 在 (12.7) 中 可 以 定义 @j =Q, -Qj 以 及 Ry = Ry. 因此 , 非 移 位 算法 
用 稍微 不 同 的 记号 与 标准 化 同时 迭代 做 相同 的 计算 . 还 注意 到 


Aj-1 = QR; = QiPiQi9j = Q;AiQ7, (12.11) 
所 以 所 有 的 A; 都 是 相似 矩阵 , 因此 有 相同 的 特征 值 . 
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% Program 12.5 Unshifted QR Algorithm 

% Computes eigenvalues/vectors of symmetric matrix 

% Input: matrix A, number of steps k 

% Output: eigenvalues lam and eigenvector matrix Qbar 
function [lam,Qbar] =unshiftedgr (A, k) 

(m,nj=size(A); 

Q=eye (m,m); 


Qbar=Q; R=A; 
for j=1:k 
[Q.R] =ar (R*Q) ; % OR factorization 
Qbar=Qbar*Q; % accumulate Q's 
end 
lam=diag (R*Q) ; % diagonal converges to eigenvalues 


定理 12.4 假设 A 是 对 称 的 m x m 矩阵 ， 其 特征 值 Xi 满足 Al > 
[Aa] > … > |Xm|, 非 移 位 QR 算法 线性 收敛 于 A 的 特征 向 量 和 特征 值 . 当 j 一 oo 
BY, Aj 收敛 于 特征 值 在 主 对 角 线 上 的 对 角 矩 阵 , FQ; = Q1… Q@; 收敛 于 一 个 
EXE, 它 的 列 是 特征 向 量 . 

定理 12.4 的 证 明 能 在 Golub & Van Loan[5] 中 找到 . 标准 化 同时 迭代, 本 质 上 
相同 的 算法 , 在 相同 条 件 下 收敛 . 注意 , 如 果 定 理 的 条 件 不 满足 , 那么 即使 对 于 对 称 
矩阵 非 移 位 QR 算法 也 可 能 失败 . 见习 题 5. 

尽管 非 移 位 QR 算法 是 罕 迭 代 的 改进 形式 , 由 定理 12.4 要 求 的 条 件 是 严格 的 ， 
因此 我 们 需要 加 一 些 改进 使 这 个 求 特征 值 的 方法 更 通用 一 一 例如 在 非 对 称 矩 阵 的 
情形 . 同样 也 出 现在 对 称 矩 阵 中 的 一 个 问题 是 : 在 主 特征 向 量 相持 的 情形 下 不 能 保 
证 非 移动 QR 算法 起 作用 . 这 种 情形 的 一 个 例子 是 


ae | 0 1 ] 
1 0 
它 有 特征 值 1 和 -1. 当 特 征 值 是 复数 时 , 另 一 种 形式 的 “相持 ”出 现 了 ， 非 对 称 
矩阵 
| 0 1 | 
-1 0 
的 特征 值 是 i 和 -i, 这 两 个 复数 的 模 都 是 1. 非 移 位 QR 算法 的 定义 中 没有 允许 计 
算 复 特征 值 . 更 有 其 者 , 非 移 位 QR 算法 没有 使 用 逆 寡 迭 代 的 策略 . 我 们 发 现 用 这 
种 策略 能 够 大 大 加 速 寡 和 迭代, 并 且 我 们 想 找 一 种 方法 把 这 种 思想 用 到 新 的 执行 程序 


中 去 . 在 介绍 了 QR 算法 的 目标 把 矩阵 4 简化 成 它 的 实 Schur 形式 , 之 后 , 下 面 应 
时 这 些 经 过 改进 的 设计 . 
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12.2.2 $ Schur 形式 和 QR 算法 


QR 算法 求 矩 阵 A 的 特征 值 的 方法 是 确定 特征 值 显 然 的 相似 矩阵 .下 面 的 例 
FHM Schur 形式 . 

定义 12.5 REET REE ABH, ( 主 对 角 线 上 有 2x 2 块 的 除外 , ) AB 
4 EAR Schur 形式 . 

例如 , 形式 为 


x x x x 
me KE i 
Ke ES X 


的 矩阵 有 实 Schur 形式 . 根据 习题 6, 这 种 形式 的 矩阵 的 特征 值 是 对 角 分 块 矩 阵 的 
特征 值 : 当 分 块 是 1 x 1 时 , 就 是 对 角 元 素 , 或 者 在 2 x 2 分 块 的 情形 下 就 是 这 个 
2 x 2 分 块 的 特征 值 . 不 管 哪 一 种 , 矩阵 的 特征 值 计算 很 快 . 

这 个 定义 的 价值 是 每 个 实 方 阵 相似 于 一 个 这 种 形式 的 矩阵 ， 这 是 定理 12.6 的 
结论 , 证 明 在 [5] P. 

EH 12.6 kA 是 实 方 阵 . 那么 存在 正 交 矩阵 @ 以 及 实 Schur # AHER 
T 使 得 

4=QITQ. 


所 谓 矩阵 A 的 Schur 分 解 是 一 种 “特征 值 -展现 分 解 ”, 意思 是 如 果 能 够 执行 
它 , 我 们 将 知道 特征 值 和 特征 向 量 . 
完整 的 QR 算法 通过 一 系列 相似 变换 , 反复 地 把 任意 矩阵 4 朝 它 的 Schur 分 
解 移动 . 我 们 将 分 两 步 进行 . 首先 , 我 们 将 建立 带 有 移 位 的 逆 寡 迭代 的 思想 并 且 加 
入 压缩 的 概念 来 建立 移 位 QR 算法 . 然后 , 我 们 将 建立 允许 复 特征 值 的 改进 形式 . 
移 位 形式 是 直接 写 的 . 每 一 步 包 括 应 用 移 位 、 完 成 QR 分 解 以 及 再 取 移 位 反 
向 . 用 符号 表示 
Ao- sI =Q,Rı, (12.12) 
Ay = RQ; +51, 
注意 


A, -sI=R,Q, 
= QT (Ao — 81)Q, 
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= QTAQ; -sI 


意味 着 A 相似 于 Ao, 所 以 有 相同 的 特征 值 . 重复 这 一 步 , 产生 矩阵 序列 Ay, 它们 
都 相似 于 A = Ao. 

对 移 位 s, 好 的 选择 是 什么 ?这 把 我 们 引 向 关于 特征 值 计 算 的 压缩 的 概念 . 我 
们 将 选择 移 位 是 矩阵 A, 的 底 行 右边 的 元 素 . ROR ( 当 它 收敛 于 实 Schur 形 
R) 把 底 行 除了 最 右边 的 元 素 外 转移 成 一 行 零 . 在 这 个 元 素 已 经 收敛 到 特征 值 后 ， 
我 们 通过 消去 最 后 的 行 与 列 对 矩阵 进行 压缩 . 然后 我 们 着 手 求 其 余 的 特征 值 . 

移 位 QR 算法 的 最 初 尝试 在 程序 12.6 中 所 示 的 MArrAB 代 码 中 给 出 . 在 每 一 
步 , 我 们 用 一 步 移 位 QR, 然后 检查 底 行 . 如 果 除 了 对 角 元 素 ann 之 外 的 其 他 元 素 
都 小 , 那么 我 们 断言 这 个 元 素 就 是 特征 值 , 且 对 于 以 后 的 计算 通过 略 去 最 后 一 行 和 
最 后 一 列 进行 压缩 . 

在 定理 12.4 的 假设 下 , 这 个 程序 将 成 功 . 度量 相等 的 复 特征 值 或 者 实 特征 值 
将 造成 问题 , 这 一 点 我 们 将 在 后 面 更 复杂 的 形式 中 解决 . 习题 7 说 明了 这 种 初步 形 
式 的 QR 算法 的 缺点 . 


% Program 12.6 Shifted QR Algorithm, preliminary version 

% Computes eigenvalues of matrices without equal size eigenvalues 
% Input: matrix a 

% Output: eigenvalues lam 

function lam=shiftedgr0 (a) 

tol=le-14; 


m=size(a,1);lam=zeros(m,1); 
n=m; 
while n>1 
while max(abs(a(n,1:n-1)))>tol 
mu=a (n,n); % define shift mu 


(a, r]=qr (a-mu*eye (n) ) ; 
a=r*q+mu*eye (n); 
end 


lam(n)=a (n,n); % declare eigenvalue 
n=n-1; % decrement n 
a=a(1in,1:n); % deflate 

end 

lam(1)=a(1,1); % 1x1 matrix remains 


最 后 , 为 了 考虑 到 复 特 征 值 的 计算 , 我 们 必须 允许 实 Schur 形式 的 对 角 线 上 存 
在 2x 2 分 块 . 程序 12.7 中 给 出 的 改进 形式 的 移 位 QR 算法, 试图 把 矩阵 迭代 为 右 
下 角 是 1 x 1 的 对 角 分 块 ; 如 果 它 失败 了 (在 使 用 者 确定 的 尝试 次 数 之 后 ), MAE 
断言 , 为 一 个 2 x 2 分 块 , 求 出 这 一 组 特征 值 , 然后 用 2 压缩 . 这 种 改进 形式 对 绝 大 
多 数 输入 矩阵 将 收敛 于 实 Schur FER, 但 并 不 是 全 部 . 为 了 把 最 后 少数 几 个 “坚持 
者 ”集合 起 来 以 及 使 算法 更 有 效 , 我 们 在 12.2.3 节 建 立 上 Hessenberg 形式 . 
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% Program 12.7 Shifted QR Algorithm, general version 

% Computes real and complex eigenvalues of square matrix 
% Input: matrix a 

% Output: eigenvalues lam 

function lam=shiftedgr (a) 

tol=le-14;kounttol=500; 

m=size(a,1);lam=zeros(m,1); 


n=m; 


while n>1 


kount=0; 

while max(abs(a(n,1:n-1)))>tol & kount<kounttol 
kount=kount+1; % keep track of number of ar's 
mu=a (n,n); % shift is mu 


lq. xr) =qr (a-mu*eye(n)); 
a=r*q+mu*eye (n); 


end 
if kount<kounttol % have isolated 1x1 block 
lam(n)=a (n,n); % declare eigenvalue 
n=n-1; 
a=za(1:n,1:n); % deflate by 1 
else % have isolated 2x2 block 
disc=(a(n-1,n-1)-a(n,n))*2+4*a(n,n-1)*a(n-1,n); 
lam(n)=(a(n-1,n-1)+a(n,n)+sqrt (disc) ) /2; 
lam(n-1)=(a(n-1,n-1)+a(n,n)-sqrt (disc) )/2; 
% deflate by 2 
end 
end 
if n>0;lam(1)=a(1,1);end % only a 1x1 block remains 


即使 用 它 的 一 般 形式 , 移 位 QR 算法 对 下 面 的 例子 失败 : 


0001 
0-1 0 

=| 9 (12.13) 
0100 
-10 00 


像 这 种 带 有 有 重 的 复 特征 值 的 矩阵 , 通过 移 位 QR 可 能 不 向 实 Schur 形式 转移 . 对 
这 些 更 困难 的 例子 , 所 需要 的 额外 的 帮助 是 用 相似 的 上 Hessenberg 形式 的 矩阵 代 
替 A. 这 是 12.2.3 节 的 中 心 . 


12.2.3 


上 Hessenberg 形式 


如 果 我 们 首先 把 A 化 为 上 Hessenberg 形式 , 那么 QR 算法 的 效率 可 以 得 到 极 
大 的 提高 . 

在 开始 QR 迭代 之 前 , 这 个 思想 是 , 使 用 相似 变换 , 在 保持 全 部 特征 值 的 同时 ， 
把 尽 可 能 多 的 零 放 入 A 中 . 此 外 , 上 Hessenberg 形式 将 消除 我 们 已 建立 的 这 种 形 
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式 的 QR 算法 的 最 终 困难 , 通过 保证 QR 和 迭代 将 永远 转 到 1 x 1 或 者 2 x 2 分 块 , 从 
而 收敛 到 复 特征 值 . 
定义 12.7 #aj=0,i>j+1, RA mxn HH A AL Hessenberg 形式 . 


形式 为 


x x 
x x x 
x x x X 


KR Ke 
XE He KEK 


的 矩阵 是 上 Hessenberg 形式 .通过 相似 交换 , 总 有 某 种 有 限 算法 把 矩阵 转化 为 上 
Hessenberg 形式 . 

定理 12.8 RARE AEREE Q, 使 得 人 = QBQT, ALBAL 
Hessenberg 形式 . 


通过 使 用 4.3 节 的 Housholder 反射 (在 那里 它们 用 于 构造 QR 分 解 ), 我 们 将 
构造 B. 但 是 , 存在 一 个 主要 区 别 : 现在 我 们 关心 用 反射 H 乘 在 矩阵 的 左边 和 右 
边 , 因为 我 们 想 要 以 具有 相同 特征 值 的 相似 矩阵 结束 . 因此 , 我 们 必须 对 我 们 可 以 
安装 到 A 中 的 零 不 太 积极 . 

定义 z 是 由 A 的 除了 第 一 个 元 素 以 外 的 第 一 列 组 成 的 n- 1 维 向 量 . HA, 
是 把 z 转移 为 ( 士 |z||,0,… ,0) 的 Hourseholder 反射 (如 第 4 章 所 提 到 的 , 我 们 应 
选 符号 为 -sign(z1) 以 避免 在 实践 中 问题 相 消 , 但 是 这 个 理论 对 任 一 种 选择 都 成 立 ). 
OA, 是 通过 把 A, 插入 到 n x n 单位 矩阵 的 底 (n — 1) x (n — 1) 角形 成 的 正 交 
ERE, 那么 我 们 有 


x x x | I o 

x x x x 

HiA= x x|=|0 | XE ey de 
OK Oix x x x 

x x 0 | x xX xX XxX 


在 我 们 可 以 对 成 功 地 把 零 放 入 矩阵 进行 求 值 前 , 需要 通过 在 右边 乘 以 Hy 而 完成 
相似 变换 . 回想 起 Householder 反射 是 对 称 正 交 矩阵 , 所 以 Hy) = HT = Ay. 
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此 ， 
x|x x x x 1 jo 0 0 0 x|x x x x 
Piper eres | cae -一 
HiAHi=|0 x x x x o] =| 0Ix x x x 
0 | x x x xX 0 | Ê 0 | x x xX x 
Q|x x x x 0 | 0 | x x x x 


在 HAPPENS HAH, 中 并 没有 改变 . 然而 , 注意 如 果 我 们 已 试图 消 掉 第 
一 列 中 一 个 非 零 元 素 以 外 的 所 有 元 素 , 就 像 在 12.2 节 的 QR 分 解 中 所 做 的 那样 , 那 
么 在 右边 相 乘 时 , 我 们 可 能 不 能 保持 这 些 零 . 事实 上 , 不 存在 计算 任意 矩阵 和 上 三 
角 和 矩阵 之 间 的 相似 变换 的 有 限 算法 . 如 果 有 的 话 , 本 章 可 能 要 短 得 多 , 这 是 因为 我 
们 可 以 从 这 相似 的 上 三 角 和 矩阵 的 对 角 线 上 读 出 这 个 任意 矩阵 的 特征 值 , 

实现 上 Hessenberg 形式 的 下 一 步 是 重复 前 一 步 , 利用 由 第 二 列 中 较 底 下 的 n—2 
个 元 素 组 成 的 (n 一 2) 维 向 量 =. 令 Ay 是 针对 新 的 = 的 (n—2) x (n—2)Householder 
反射 , 并 定义 He 是 用 Ae 代入 底 角 的 单位 矩阵 . 那么 


10|0 0 0 x x|x x x x xix x x 
0 10 o offs xix x x} |x xix x » 
H2(H,AH;) =|} 0 of 0 T x x|=|0 x|x x x 
0 0| fh 0 xix x x 0 ojx x x 
0 o| 0 xix x x 0 O|x x x 


接着 检查 上 式 , BH 一 样 , 在 右边 乘 上 H 并 不 反 过 来 影响 已 得 到 的 零 ， 如 果 
n= 5, 那么 再 进行 一 步 , 我 们 得 到 5 x 5 矩阵 
H3H)H, AH? H? H? = H3H HiA(H3H2H1)T = QAQ", 

它 是 上 Hessenberg 形式 . 因为 这 个 矩阵 相似 于 A, 所 以 它 有 与 A 相同 的 特征 值 和 
HH. 一般 地 , 对 n x n 矩阵 的 A, 需要 n — 2 个 Householder WIG A 转化 成 上 
Hessenberg 形式 . 

21 0 
3 5 -5 
40 0 
Bx = [3,4]. 前 面 我 们 求 得 Houreholder 反射 


ae-[ ale 


例 12.2 把 转化 成 上 Hessenberg 形式 . 
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1 0 0 21 0 271-0. 
HiA=|0 06 08 3 5 -5|=|5 3 -3], 
0 0.8 —0.6 4 0 0 4 -4 
1 0 1 0 0 20 06 0.8 
AÆA'=H,AH,=|5 3 -3 0 0.6 0.8 =| 5.0 -06 4.2 
4 一 4 0 0.8 —0.6 0.0 —0.8 5.6 
结果 是 上 Hessenberg 形式 的 矩阵 A’ 并 且 相 似 于 A. < 


下 面 利用 Householder 反射 , 执行 前 面 的 策略 并 且 构 造 一 种 求 Q 的 算法 : 


% Program 12.8 Upper Hessenberg form 
% Input: matrix a 
% Output: Hessenberg form matrix a and reflectors v 
% Usage: [a,v]=hessen(a) yields similar matrix a of 
% Hessenberg form and a matrix v whose columns hold 
% the v's defining the Householder reflectors. 
function [a,v]=hessen(a) 
(m,n]=size(a); 
v=zeros (m,m) ; 
for k=1:m-2 
x=a(k+1:m,k); 
v(i:m-k,k)=-sign(x(1)+eps) *norm(x) *eye (m-k, 1) -x; 
v(1:m-k,k) =v(1:m-k,k) /norm(v(1:m-k,k)); 


a(k+1:m,k: (k+1:m,k:m)-2*v(1:m-k,k)*v(1:m-k,k)'*a(k+1:m,k:m); 
a(1:m,k+1: a(1:m,k+1:m)-2*a(:,k+1:m) *v(1:m-k,k) *v(1:m-k,k)'; 
end 


对 于 特征 值 计 算 , 上 Hessenberg 形式 的 一 个 优点 是 : 在 QR 算法 中 , 沿 着 对 角 
线 仅仅 出 现 2 x 2 分 块 , 消除 了 12.2.2 节 的 有 重 的 复 特征 值 造成 的 困难 . 
例 12.3 RERE (12.13) 的 特征 值 . 


对 于 
0 0 0 1 
“as 0 0 -1 0 r 
0 1 0 0 
-1 0 0 0 


0 10 0 

x-| 00 0 
0 00 -| 
0 01 0 
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RE A’ = QAQ’, 


oor 


0 0 

0 0 1 
a 0 0 
1 


0 0 0 


EME A! 已 经 是 实 Schur 形式 . 它 的 特征 值 是 沿 着 主 对 角 线 上 的 两 个 2 x 2 矩阵 的 
特征 值 , 它们 是 有 重 的 {i, - 计 组 . 


< 
因此 , 我 们 最 后 有 了 求 任意 方 阵 4 的 全 部 特征 值 的 完整 方法 . 首先 用 相似 变换 


(程序 12.8) 把 矩阵 转化 成 上 Hessenberg 形式 , 然后 再 用 移 位 QR 算法 (程序 12.7)， 
MATLAB 的 eig 命令 提供 了 基于 这 一 系列 计算 的 精确 的 特征 值 . 


还 有 许多 其 他 技巧 来 加 速 在 这 里 没有 覆盖 的 QR 算法 的 收敛 . QR 算法 是 为 满 


矩阵 设计 的 . 对 于 大 型 稀疏 系统 , 一 些 替代 方法 通常 将 更 有 效 , 见 [9]. 
习题 12.2 


1. 


A 


an 


a 


x 


把 以 下 矩阵 转化 成 上 Hessenberg 形式 : 


1 0 1 0 0 1 
; (b)|o10 


1 1 0 
1 0 0 1 0 0 


(a) 


210 1100 
: ofi LT 
3 0 1 2 1 0 


3 
转化 成 上 Hessenberg 形式 . 


1 
o 
voan 


2 =l 0 


. 证明 Hessenberg 形式 的 对 称 矩 阵 是 三 对 角 的 . 
。 如 果 一 个 非 负 方 阵 的 每 列 元 素 加 起 来 等 于 1, 就 称 它 是 随机 的 . 证 明 随 机 矩阵 (a) 有 一 个 


特征 值 等 于 1, 而 且 (b) 所 有 的 特征 值 的 绝对 值 最 多 是 1. 


e 对 下 列 矩 阵 执行 标准 化 同时 选 代 , 并 解释 它 如 何 失败 : 


01 0 1 
ofp @ [4 3]- 


- (a) 证 明 实 Schur 形式 的 矩阵 的 行列 式 是 在 主 对 角 线 上 的 1 x 1 和 2 x 2 分 块 矩 阵 的 行 


列 式 的 乘积 . (b) 证 明 实 Schur 形式 的 矩阵 的 特征 值 是 在 主 对 角 线 上 的 1 x 1 和 2x 分 块 
拢 阵 的 特征 值 . 

确定 初步 形式 的 QR 算法 不 论 在 改变 成 Hessenberg 形式 之 前 还 是 之 后 , 是 否 能 求 出 准 
确 的 特征 值 . 
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8. 确定 一 般 形式 的 QR 算法 , 不 论 在 改变 成 Hessenberg 形式 之 前 还 是 之 后 , 对 习题 7 中 的 
矩阵 是 否 能 求 出 准确 的 特征 值 . 


计算 机 问题 12.2 
1. 对 以 下 矩阵 直接 应 用 移 位 QR 算法 (初步 形式 Shiftedqr), 误差 容 限 是 10-14: 


-3 3 5 3-1 2 71 2 
(a)} 1 -5 -5 |; (b) ra ah ol: 17 3| 
Le 6 4 E 2 2 2 
[-7 -8 1 
(d) | 17 18 -1 
-8 -8 2 


2. 直接 应 用 移 位 QR 算法 求 以 下 矩阵 的 所 有 特征 值 ; 


3 1 2 1 5 4 1 1 -2 
(a)| 4 114; |: -4 -3 rofi 2 a|: 
L-3 0 3 0 -2 4 0 -2 2 
[5 -1 3] 
(a) jo 6 1 
3 3 -3 


3. 直接 应 用 移 位 QR 算法 求 以 下 矩阵 的 全 部 特征 值 ; 


f-11 3 7 -33 -15 8 0 5 
(a) 3 3 -2 |; (b) 2 26 "| of | 
L-5 2 7 J -4 50 -13 10 0 13 
-3 1 1 
(d)| 5 3 -1 
-2 2 0 
4, 重 做 计算 机 问题 3, 但 是 在 应 用 QR ARMELLE Hessenberg 形式 . 打印 Hes- 
senberg 形式 及 特征 值 . 
5. 直接 用 QR 算法 , 求 下 面 矩 阵 的 所 有 的 实 的 和 复 的 特征 值 : 
[431 3 2 0 7 2 -4 
(a) | -5 -3 0|; (b)] -4 -2 1 |; ol: om |: 
3 sa 3-4- i 2 -1 -2 
11 4 -2 
(a) | -10 0 5 
L4 1 2 


6. 用 QR 算法 求 特征 值 . 在 每 个 矩阵 中 , 所 有 的 特征 值 的 绝对 值 (或 模 ) 相等 , 所 以 可 能 需 
要 Hessenberg. 比较 化 简 为 Hessenberg 形式 之 前 和 之 后 QR 算法 的 结果 . 
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-5 -10 -10 5 7 6 6 -3 

4 146 1 -8 -26 -20 -19 10 
(a) ; (b) ; 

12 13 8 -4 0 -1 0 0 

22 48 28 -19 -36 -28 -24 13 


(©) 
-30 -24 -20 11 | 
实例 检验 12 ”搜索 引擎 如 何 评定 网 页 质量 


(Google. com 这 样 的 网 络 搜索 引擎 是 以 搜索 返回 结果 的 质量 来 论 优 劣 的 . 我 们 来 粗略 讨 
论 一 下 , Google 是 怎样 根据 网 络 上 存在 的 链接 来 评判 网 页 的 质量 的 . 

当 开 始 网 络 搜索 ,搜索 引擎 要 执行 相当 复杂 的 一 系列 任务 . 一 个 明显 的 任务 是 逐 词 匹配 ， 
即 寻 求 标题 或 内 容 中 包含 查询 词 的 网 页 . 另 一 个 关键 任务 是 评定 所 辨认 出 的 网 页 ,帮助 用 户 从 
大 量 的 选择 中 找 出 自己 的 目标 网 页 . 对 于 非常 有 针对 性 的 查询 , 可 能 只 有 几 个 主题 匹配 , 所 有 
的 结果 都 能 返回 到 用 户 (在 网 络 发 展 的 早期 , 大 家 曾 竞相 去 争取 一 矢 中 的 )， 这 种 情况 下 , 返回 
网 页 的 质量 不 太 重 要 , 因为 结果 不 多 , 甚至 不 需要 对 网 页 排序 . 但 对 更 一 般 的 查询 , 评定 质量 的 
需要 就 变 得 明显 了 . 例如 在 Google 上 查询 “新 汽车 ”会 返回 几 百 万 网 页 , 开头 的 几乎 都 是 汽 
车 购买 服务 这 种 相当 有 用 的 输出 . 这 种 评定 是 如 何 确定 的 ? 

这 个 问题 的 答案 是 ,Google.com 对 它 所 标的 每 一 网 页 指定 一 个 称 为 页 秩 (page rank) 的 
非 负 实 数 . 页 秩 由 Google 在 世界 上 最 大 的 持续 进行 的 用 于 确定 特征 值 的 宕 迭代 中 计算 得 到 . 

考虑 如 图 12-1 所 示 的 图 , 这 里 n 个 结 点 中 的 每 一 个 都 代表 一 网 页 , 并且 从 结 点 i 到 结 点 
7 的 有 向 直线 表示 页 面 i 包括 了 j 的 链接 到 页 面 . 设 A 表示 邻接 矩阵 (adjacency matrix), 即 
nxn FARE: 如 果 有 结 点 i 到 结 点 j 的 链接 , 那么 它 的 第 ij 元 素 是 1; 否则 是 0. 对 于 图 12-1, 
邻接 矩阵 是 


— 


> 

ll 
ooocooooooo0oormrooo0o 
oooocoocooocoocoooooror 
ocoooooooooor-oro 
cooocoooroooooo0o0 
oooocooor-ooooooro 
ooocoooorooocooroo 
ooo~roocooooooooro 
ocomoooocooocoooroo 
ocorooooooooooor 
ocroooororrrmoooo 
o-oorooor-~rrHrooooo 
-~~ocoocoocooooooroo0o 
oroocoroooooooo0oo0o 
-~~orooocoocooocoooo0o 
oroo~mooooocooooo0o 
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图 12-1 网 页 及 链接 的 网 络 . 每 一 条 从 一 页 到 另 一 页 的 有 向 边 表示 第 一 
页 包含 至 少 一 个 第 二 页 的 链接 . 


Google 的 创始 人 想像 一 个 在 n 页 网 络 上 的 冲浪 者 , 他 目前 停留 在 第 i 页 的 概率 是 ps, 下 
面 这 个 冲浪 者 或 者 (以 固定 的 概率 q, 经 常 近似 地 等 于 0.15) 向 随机 页 运动 , 或 者 以 概率 1- q 
随机 地 单 击 目前 第 i 页 的 链接 ， 在 单 击 之 后 , 这 个 冲浪 者 从 第 i 页 运动 到 第 j 页 的 概率 是 
4/n 十 (1 一 q)Aij/ns, 这 里 Ai 是 邻接 矩阵 A 的 元 素 , 而 ns 是 A 的 第 i 行 之 和 (实际 上 , 第 
i 页 的 链接 数 ). 

时 间 是 任意 的 , 因此 人 在 结 点 j 的 概率 是 这 个 表达 式 取 遍 所 有 i 的 和 , 并 且 与 时 间 无 关 ， 
即 


p= Dy je +(1 -9 至 4) ， 


用 矩阵 表示 , 它 等 价 于 特征 值 方程 
p=Gp, (12.14) 


这 里 p= (ps) 是 人 在 n 个 页 面 上 的 n 个 概率 的 向 量 , G 是 其 第 ij 元 素 为 g/n + Anll 一 q)ny 
的 矩阵 . 我 们 将 把 G 称 为 google BR. 矩阵 G 的 每 列 之 和 为 1, 所 以 它 是 随机 和 矩阵 , 而 且 根 
据 习题 12.2.4 它 的 最 大 特征 值 等 于 1. 相应 于 特征 值 1 的 特征 向 量 p 是 页 面 的 稳 态 概率 的 集 
合 . 按照 定义 它们 是 n 个 页 面 的 页 秩 (这 是 由 GT 定义 的 Markov 过 程 的 稳 态 解 . 用 稳 态 概率 
测量 效应 的 最 初 思想 追溯 到 Pinski 和 Narin, 跳 变 概率 (jump probability)g 是 由 Brin 和 
Page! 加 上 去 的 , 他 们 是 Google 的 创始 人 ). 

我 们 将 用 如 图 12-1 所 示 的 例子 来 说 明 页 秩 的 定义 . 设 g = 0.15, google 矩阵 G 的 主 特征 
向 量 (相应 于 主 特征 值 1) 是 
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0.026 8 ] 
0.029 9 
0.029 9 
0.026 8 
0.039 6 
0.039 6 
0.039 6 
p= | 0.039 6 
0.074 6 
0.106 3 
0.106 3 
0.074 6 
0.125 1 
0.116 2 
L 0.125 1 
这 个 特征 向 量 已 经 过 除 以 各 分 量 之 和 而 标准 化 , 就 像 概 率 所 应 该 具备 的 那样 ,其 和 为 1， 结 点 
13 和 结 点 15 的 页 秩 最 高 , 接 下 来 是 结 点 14, 10, 11. 注意 页 秩 不 是 简单 地 取决 于 “内 向 级 别 ” 
或 者 链接 到 这 一 页 的 内 向 点 (inward-pointing) 的 个 数 , 而 是 要 靠 分 派 重要 性 等 更 复杂 的 机 制 , 
虽然 结 点 10 和 结 点 11 有 最 多 的 内 向 点 链接 , 但 是 它们 指向 13 和 15 这 一 事实 却 无 形 中 抬 高 
了 别人 . 这 就 是 “google 育 炸 ”后 面 的 思想 , 即 通过 使 大 流量 站 点 链接 到 某 一 站 点 来 人 为 地 提 
高 后 者 的 重要 性 . 
记 住 , 用 这 种 方法 定义 页 秩 时 , 我 们 用 了 “重要 性 ", 尽管 没有 人 真正 知道 它 表 示 什么 . 页 

秩 是 一 种 指定 重要 性 的 自我 参考 方法 , 在 找到 一 种 更 好 的 方法 之 前 它 可 能 足够 了 . 
建议 习题 
， 证 明 google 矩阵 G 是 随机 矩阵 . 
.对 所 示 网 络 构造 矩阵 G, 并 验证 给 定 的 主 特征 向 量 p. 
。 把 由 变 概率 q 改变 成 (a)0, (b)0.5. 令 述 结果 在 页 秩 的 改变 . 跳 变 概率 的 作用 是 什么 ? 
|. 假设 网 络 中 页 面 7 想 要 改进 它 相 对 于 其 竞争 者 页 面 6 的 页 秩 , 譬如 说 , 通过 促使 页 面 2 

和 页 面 12 更 显著 地 展示 它们 到 页 面 7 的 链接 . 通过 在 邻接 矩阵 中 用 2 代替 A7 和 A12,7 

来 模拟 它 . 这 种 策略 是 否 成 功 ? 
5. 研究 从 网 络 移 除 页 面 10 的 影响 (删除 所 有 到 页 面 10 和 来 自 页 面 10 的 链接 ). 哪 一 个 页 

秩 增 大 了 , 哪 一 个 减 小 了 . 

6. 设计 你 自己 的 网 络 , 计算 页 秩 并 且 按 照 前 面 的 问题 进行 分 析 . 


12.3 ”奇异 值 分 解 


R™ 中 的 单位 球 在 m x m 矩阵 作用 下 的 象 是 椭 球 . 这 个 有 趣 的 事实 构成 奇异 
值 分 解 的 基础 , 它 在 一 般 的 矩阵 分 析 , 特别 是 在 有 压缩 效果 的 矩阵 分 析 中 有 着 许多 


Penne 
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应 用 , 图 12-2 是 对 应 于 矩阵 
pn | (12.15) 


的 椭圆 的 图 解 . 


12-2 ”单位 圆 在 2x2 矩阵 作用 下 的 象 . 在 R? 中 的 单位 圆通 过 (12.15) 
中 的 矩阵 A 被 映射 成 半 长 轴 为 (3,0) 和 (0, 5) 的 椭圆 


在 图 12-2 中 , 想像 取 对 应 于 单位 圆 上 每 一 点 的 向 量 vw, 用 A 相 乘 然后 画 出 结 
果 向 量 Av 的 终点 , 其 结果 就 是 所 示 的 椭圆 . 为 了 描述 这 个 椭圆 , 用 标准 正 交 向 量 
集 定义 坐标 系 的 基 是 有 帮助 的 . 

我 们 在 定理 12.11 中 将 看 到 : 对 每 一 个 m xn 矩阵 A, 存在 标准 正 交 集 {wi,… ， 
Um}, {v1,… Un}, 以 及 非 负数 sı > … > sn > 0, 满足 


Avı = sith, 


Av = 82U2, (12.16) 


Avn = snun. 
这 些 向 量 在 图 12-3 中 可 以 直观 地 看 到 . vi 称 为 是 矩阵 A 的 右 奇异 向 量 , wu; 是 A 
的 左 奇异 向 量 , s; 是 A 的 奇异 值 (singular value). (关于 这 些 向 量 的 专门 名 词 是 有 
一 点 奇怪 , 但 是 原因 不 久 将 会 变 得 很 清楚 ). 


图 12-3 ”与 矩阵 相关 的 椭圆 .可 以 用 以 下 简单 方式 来 看 待 每 一 个 2 x 2 
和 矩阵 A: 存在 坐标 系 {v1,v2}, 对 于 它 A 传递 v1 一 siu, 以 
及 v2 一 s2u2, 这 里 {wu1, u2} 是 另 一 个 坐标 系 , 而 s1, sz 是 非 
负数 . 对 m x m 矩阵 这 个 图 推广 到 R™ 
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这 个 有 用 的 事实 马上 解释 了 为 什么 2 x 2 和 矩阵 把 单位 圆 映 射 到 椭圆 . 我 们 可 以 
认为 w 是 直角 坐标 系 的 基 . 而 4 以 一 种 简单 方式 在 其 上 作用 : 它 产生 新 坐标 系 的 
基 向 量 ui, 具有 以 标量 si 作为 量化 的 伸 长 . 伸 长 的 基 向 量 su: 是 椭圆 的 半 主 轴 ， 
如 图 12-3 所 示 . 

例 12.4 ”对 于 图 12-2 中 表示 的 矩阵 (12.15), 求 奇异 值 和 奇异 向 量 . 

显然 , 矩阵 在 z 方向 伸 长 到 原来 的 3 倍 , 而 在 y 方向 缩小 到 原来 的 2. A 的 奇 


异 向 量 和 奇异 值 是 
1 1 o]_1ifo0 
[a] -| afiafi] gran 


向 量 3(1,0) 和 (0,1) 形成 椭 贺 的 半 主轴 . 右 奇异 向 量 是 [1,0], [0, 1], 左 奇异 向 量 是 
[1,0], (0,1). 奇异 值 是 3 M 4. > 
例 12.5 RABE . 


(12.18) 


的 奇异 值 和 奇异 向 量 . 
这 是 对 例 12.4 的 一 种 小 的 改变 . 矩阵 以 某 种 尺度 的 改变 变换 了 z 和 y 轴 , 并 
且 加 上 了 2 轴 , 沿 着 2 轴 没 有 发 生变 化 . A 的 奇异 向 量 和 奇异 值 是 


(12.19) 
sa ||- ?| 


右 奇 异 向 量 是 [1,0], [0, 1], 而 左 奇异 向 量 是 [0, 1,0], (-1,0, 0], 奇异 值 是 3,2. 注意 我 
们 永远 要 求 s 是 非 负数 , 任何 必要 的 负 号 被 吸收 到 w 和 v; 中 去 . < 
Æ mxn HERE 4 的 矩阵 分 解 中 ,有 一 种 记 着 这 个 信息 的 标准 方法 . 作出 mxm 
矩阵 U( 它 的 列 是 左 奇异 向 量 u), nxn 矩阵 V( 它 的 列 是 右 奇异 向 量 vi), 以 及 
对 角 m x n 矩阵 S, 它 的 对 角 元 素 是 奇异 值 s. 那么 mx n 和 矩阵 A 的 奇异 值 分 

解 (SVD) 是 
A=USV". (12.20) 
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例 12.5 有 SVD 表达 式 
1 fet 
0 一 和 0 -1 0 3 0 人 
3 0 |= 0 0 0$ P te (12.21) 
0 0 0 0 1 0 0 


AAU AV 是 有 正 交 列 的 方 阵 , 所 以 它们 是 正 交 和 矩阵 . 注意 我 们 已 把 第 三 列 us 
加 到 U 完成 了 Rs 的 基 . 最 后 我 们 能 够 解释 术语 . ui(vi) 是 左 ( 右 ) 奇异 向 量 , 这 是 
因为 它们 出 现在 矩阵 表达 式 (12.21) 的 那 一 边 . 

12.3.1 一 般 情况 下 求 SVD 


我 们 已 经 展示 了 SVD 的 两 个 简单 例子 . 要 说 明 对 一 般 矩阵 A, SVD FE, 我 
们 需要 以 下 引 理 . 

引 理 12.9 设 4 是 一 个 mm xm 4M, ATA 的 特征 值 非 负 . 

证 Rv RATA 的 单位 特征 向 量 , 并 且 ATAv = v, 那么 


0 < ||Avl|? =v AT Av = AvTv = 入. 


对 于 m x n FARE A, n x n ERE ATA 是 对 称 的 , 所 以 它 的 特征 向 量 正 交 并 且 
特征 值 是 实数 . 引 理 12.9 说 明 其 特征 值 是 非 负 实数 所 以 应 该 表示 为 s? > … > s2， 
这 里 相应 的 正 交 特征 向 量 集 是 {v1,… ,vn}. 这 已 经 给 了 我 们 SVD 的 2. 用 以 下 
方法 求 wi,1<igm: 

WR si #0, HHH siu; = Av; EM ui. 

如 果 si = 0, 选择 wi 为 满足 与 w1,… ,wi_1 正 交 的 任意 单位 向 量 . 

读者 应 该 检验 这 种 选择 意味 着 u,- ,wm 是 两 两 正 交 的 单位 向 量 , 因此 是 R” 
的 另 一 个 正 交 基 . 事实 上 , wi1,… ,um 形成 AAT 的 一 组 标准 正 交 特征 向 量 (见习 
题 4). 总 结 一 下 , 我 们 已 经 证 明了 定理 12.10. 

定理 12.10 设 和 A 是 mxn BH, 那么 存在 Rr 和 Rm 的 两 个 正 交 基 {v1,---, 
Vn}，{W1,… Um}, 以 及 实数 sl > … > sn > 0 使 得 对 于 1 < i < min{m,n}, 
Avi = siu. V = [vi] un] 的 列 ， 即 右 奇异 向 量 ， 是 ATA 的 正 交 特征 向 量 组 ; 
U = [ua|…|um] 的 列 , 即 左 奇异 向 量 , 是 AAT HER HEE. 

对 于 给 定 矩 阵 A, SVD 不 唯一 . 例如 在 定义 方程 Av1 = siui 中 , 用 -ui 代替 
vi, 用 一 wi 代替 wi 不 改变 相等 性 , 但 是 改变 矩阵 U 和 V. 

我 们 从 这 个 定理 可 知 单位 球 向 量 的 象 是 中 心 在 原点 、 半 主轴 为 siu: 的 椭 球 向 
量 . 图 12-3 展示 了 单位 圆 向 量 被 映射 到 轴 为 {si1w1, s2u2} 椭圆 . 对 于 向 量 zx, 为 了 
K As 去 向 何 处 , 我 们 可 以 写 = = av + azvz[ 这 里 av (aw) 是 = 在 viw) 方 
向 的 投影 ], 那么 hz = asiu +azszu2. 
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矩阵 表达 式 (12.20) 直接 从 定理 12.11 得 出 . 定义 S 是 m xm WHE, 它 
的 元 素 si > … > smin{m,n} > 0. 定义 U 是 列 为 w1,… ,am WER, V 是 列 为 
v1,… ,vn 的 矩阵 . 注意 对 i = 1,… ,m, USV Tvi = siui. 因为 矩阵 A 和 USVT 
关于 基 v1,… ,vn 一 致 , 所 以 它们 是 相同 的 m x n 矩阵 . 

例 12.6 K 2x 2 FARE 


a-[? 1 | (12.22) 


的 奇异 值 和 奇异 向 量 . 


的 特征 值 是 v1 = (0,1),s? = 2 UR v2 = (1,0),s? = 0. 奇异 值 是 V2 以 及 0. 根据 
前 面 的 方法 , wi 定义 为 


vu =am=| | wn | à], 
ot -7 
并 且 选 择 w = [z l 与 u EX. SVD 是 


o1] _ [Z #2)][ v2 o]fo1 
babii | es | eer e 
依据 定理 12.10 后 面 的 不 唯一 性 的 说 明 , 关于 这 个 矩阵 的 另 一 完美 的 SVD 是 
0 1 -@ 2)/ v2 0]_fo -1 
babi S]a] oe 
单位 圆 在 4 之 下 的 象 是 线段 y[1, -1], 这 里 y 从 -1 延伸 到 1. 所 以 A 的 作用 是 把 
单位 圆 压 遍 为 半 主轴 为 V2 (92, 次] 及 0 him. < 


对 于 奇异 值 分 解 的 MATLAB 命 令 是 svd, 所 以 
>> [u,v,v]=svd(a) 

将 返回 分 解 得 到 的 所 有 3 个 矩阵 . 

12.3.2 ”特殊 情形 : 对 称 矩 阵 


K m x n 对 称 矩 阵 的 SVD 只 是 简单 地 求解 特征 值 和 特征 向 量 .附录 A 中 的 
定理 A.5 保证 了 存在 一 组 正 交 特征 向 量 . 因为 特征 向 量 映射 到 它们 自己 ( 带 上 比例 
入 它 是 特征 值 ), 所 以 满足 方程 组 (12.16) 是 容易 的 . 把 特征 值 按 度量 大 小 递减 排序 
为 


lil > |Xa| > [Asl > -+ > Aml, (12.25) 
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并 把 它们 当 作 奇异 值 sı > sz > … 看 待 . 对 于 vi, 以 对 应 于 (12.25) 中 特征 向 量 的 
次 序 使 用 单位 向 量 , 并 且 用 


_ f +v WRA > 0， 
ve { 一 vi， 如 果 和 ; <0. (12.26) 
在 (12.26) 式 中 符号 的 改变 弥补 了 在 (12.25) 中 取 绝 对 值 而 失去 的 任何 负 号 . 
例 12.7 K 
0 1 
Giz | 1 3 | (12.27) 
的 奇异 值 和 奇异 向 量 . 


特征 值 /特征 向 量 对 是 2, (1, 2]7 以 及 一 3,[-2, J". 我 们 从 单位 特征 向 量 定义 
vi 并 且 从 (12.26) 定义 ui: 


1 

an =a] # | =2[ 
Z 

1 

2 


2 > -是 
Au -a| v8 | | | = szw, (12.28) 
Vs 5 
SVD Æ 
oij [æ -z| o] Z (12.29 
uall allalla O 
注意 如 (12.26) 中 规定 的 , 我 们 已 经 改变 符号 以 定义 u- < 
习题 12.3 


1. 手工 计算 以 下 对 称 和 矩阵 的 SVD, 并 且 在 几何 上 令 述 矩阵 对 单位 圆 的 作用 : 


[ -3 0 0 0 3 i ZEEF 
四 | 。 of @ [2 se ih of a 
[ 0.75 ea 


1.25 0.75 
2. 手工 计算 以 下 矩阵 的 SVD: 


[3 0 6 -2 01 -4 -12 
四 | ， "| wf 引 olg 让 四 上 | h | 
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3. SVD 不 是 唯一 的 . 对 例 12.4, 存在 多 少 种 不 同 的 SVD, 把 它们 列 出 来 . 
4. (a) 证 明 在 定理 12.11 中 定义 的 ui 是 AAT 的 特征 向 量 . (b) 证 明 wi 是 单位 向 量 . 
(c) 证 明 它 们 形成 R” 的 一 组 正 交 基 . 


12.4 SVD 的 应 用 


本 节 收 集 SVD 的 某 些 有 用 性 质 而 且 指出 它们 的 某 些 广泛 应 用 . 例如 , SVD 被 
证 实 是 求 矩阵 的 秩 的 最 好 方法 . 方 阵 的 行列 式 以 及 逆 (如 果 它 存在 ) 能 从 SVD R 
出 . 或 许 SVD 的 最 有 用 的 应 用 是 从 低 秩 近 似 性 质 得 出 的 . 


12.4.1 SVD 的 性 质 


m x n HERE A 的 秩 (rank) 是 它 的 线性 无 关 的 行 (或 者 等 价 地 , 列 ) 的 个 数 . 

性 质 1 矩阵 4 = USVT 的 秩 是 S 中 非 零 元 素 的 个 数 . 

证 因为 U VT ATXE, 所 以 rank(4) =rank(S), 而 后 者 就 是 非 零 对 
角 元 素 的 个 数 . 

性 质 2 WR 4 是 nxn 矩阵 , 那么 |det(A)| = s1:… sn- 

证 因为 UTU = 了 以 及 VTV = 了 ,所 以 U 和 VT 的 行列 式 是 1 或 者 -1, 这 
是 因为 乘积 的 行列 式 等 于 行列 式 的 乘积 . 还 是 因为 乘积 的 行列 式 是 行列 式 的 乘积 ， 
从 分 解 式 A= USVT 就 得 到 了 性 质 2. 

TER 3 WR A 是 可 逆 m x m WR, 那么 A = VS-1IUT. 

证 RELA 1, S 可 北 意 味 着 所 有 的 si > 0. 现在 性 质 3 从 以 下 事实 得 出 : 
即 如 Ai, A2 及 As RTM, 那么 (A114243) = 45143147T1. 

例如 , 来 自 (12.29) 式 的 SVD 


1 Z a 0 次 z 
说 明 逆 矩阵 是 


3 2 1 
1 3 BB 


性 质 4 mxn HM 4 可 以 写成 秩 1 矩阵 之 和 : 


lw m 


o vwe 
N o 
Ly 
一 一 

i 
Sle Se 
ah Sle 
Re 
1 

— 

| 

SI 
ae 

2 

S 

& 

= 


A=) siui], (12.31) 
i=1 


这 里 > 是 4 HK, 而 wi 及 v; 分 别 是 U RV 的 第 i 列 . 
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证 


31 


A=USV" =U VT 


++ y? 


Sp 
=s1U10T + sougus 十.… 十 sruruT 


性 质 4 是 SVD 的 低 秩 近 似 性 质 . 通过 保留 (12.31) 式 的 前 面 p 项 就 提供 了 对 
秩 p<r 的 4 的 最 佳 最 小 二 乘 近似 . 


例 12.8 seer |? p | wm an 
写 出 (12.31) 就 得 到 


es 
mon 
一 一 一 
外 外 
| 
让 让 
aan 


1 1 2 

$ eo | ay [3 *| 

2 1 + 1 2 1 

Vi 5 i LO 2I L3 “vel (12323) 
=2| Z | [a 2 -vw | |2 -3] 

HE 局 + $ jis Vi 


因为 奇异 值 的 大 小 不 同 , 注意 原 矩阵 是 如 何 分 成 较 大 的 基 值 加 上 较 小 的 基 值 . 
2 4 
eRe 1 近似 由 第 一 个 秩 1 seme | È È | 给 出 . 而 第 二 个 矩阵 提供 了 小 
的 校正 . 这 是 隐藏 在 SVD 的 降 维 和 压缩 应 用 背后 的 主要 思想 . j 
下 面 两 节 与 SVD 有 紧密 相关 的 应 用 . 在 降 维 中 , «ft AEF — Ha RCE 
向 量 来 近似 一 大 批 多 维 向 量 . 其 他 的 应 用 是 有 扣压 缩 , 把 近似 地 表示 成 一 个 矩阵 需 
要 的 信息 量 压 缩 . 这 两 种 应 用 都 取决 于 关于 低 秩 近 似 的 性 质 4. 
12.4.2 PERE 


想法 是 把 数据 投影 到 较 低 的 维 数 . 假设 a1,… ,an 构成 了 一 批 m 维 向量 . 在 
资料 丰富 的 应 用 中 , mm 远 比 n 小 . 降 维 的 目标 是 用 张 成 p < m 维 的 n 个 向 量 来 代 
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a+ ,an, 同时 使 与 这 样 做 相关 的 误差 极 小 化 . 通常 我 们 从 平均 为 零 的 一 组 向 
量 开始 . 否则 , 我 们 可 以 减 去 这 个 平均 向 量 而 达到 这 个 要 求 . 并 且 在 后 来 再 把 它 加 
起 来 . 

SVD 给 出 了 一 个 直接 了 当 的 方法 执行 降 维 . 把 数据 向 量 考虑 为 m x n 矩阵 
A= (a1l|…|an) 的 列 , 并 且 计算 奇异 值 分 解 4 = USVT, 设 e; 表示 第 j 个 基本 
基 向 量 ( 即 第 ; 个 分 量 是 1, 其 他 分 量 全 为 0). 于 是 Ae; = aj. 利用 性 质 4 WK p 
近似 


P 
Ax Ap= 》 siuoz， 
i=l 
我 们 可 以 通过 
aj = Ae; ~ Ape; (13.33) 


把 a; 投影 到 由 U 的 列 w1,… ,ap 所 张 成 的 p 维 空间 中 , 因为 把 一 个 矩阵 乘 以 ey 
恰好 是 把 它 的 第 j 列 挑选 出 来 , 我 们 能 更 有 效 地 叙述 求解 如 下 : 

由 左 奇异 向 量 w1,… ,wp 张 成 的 空间 {wi,… , up} 是 在 最 小 二 乘 意义 下 对 
Qa1,… ,an 的 最 佳 近似 p 维 子 空间 , 而 且 A 的 列 ai 到 这 个 空间 的 正 交 投影 是 Ap 
的 列 . 换言之 , 一 批 向 量 a1,… ,an 到 它们 的 最 佳 最 小 二 乘 p 维 子 空间 的 投影 正好 
就 是 最 佳 秩 p 近似 矩阵 Ap. 

例 12.9 RAM AME (3, 2), (2, 4), (-2, 一 1], [-3, —5) 的 最 佳 一 维 子 空间 . 

12-4a 所 示 的 4 个 数据 向 量 近似 地 指向 相同 的 一 维 子 空间 我们 想 要 求 这 
个 子 空间 , 它 把 这 些 向 量 投影 到 这 个 子 空间 所 产生 的 误差 的 平方 之 和 极 小 化 , 然后 
求 这 些 投影 向 量 . 


图 12-4 用 SVD 降 维 . (a) 4 个 数据 向 量 被 投影 到 最 佳 一 维 子 空间 . 
(b) 虚线 表示 最 佳 子 空间 . 第 头 表明 到 子 空间 的 正 交 投影 


把 数据 向 量 用 作 数 据 和 矩阵 
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| 
2 4 -1 -5 


的 列 并 且 求 它 的 SVD, 精确 到 4 位 小 数 它 是 


0.588 6 —0.808 4 | | 8.2809 0 0 0 
| 0.8084 0.588 6 | | 18512 0 0 | 
0.4085 0.5327 一 0.2398 一 0.7014 
—0.6741 0.3985 0.5554 一 0.2798 
0.5743 —0.1892 0.7924 —0.080 1 
0.2212 0.7223 0.0780 0.6507 


在 图 12-4b 中 以 虚线 表示 的 最 佳 一 维 子 空间 是 由 wi = [0.588 6, 0.808 4] 张 成 的 . 降 
到 p = 1 维 的 子 空间 意味 着 置 s = 0 并 重新 构造 矩阵 , 换言之 A = US1V", 这 
里 


8.2809 0 0 0 
S= 
0 000 


因此 


(12.34) 


| 1.9912 2.5964 -1.1689 —3.418 8 | 
A= 


2.7346 3.5657 一 1.605 2 一 4.695 
的 列 是 对 应 于 原来 的 4 个 数据 向 量 的 4 个 投影 向 量 . 它们 如 图 12-4b 所 示 . < 
12.4.3 ”压缩 


性 质 4 也 能 被 用 来 压缩 矩阵 的 信息 . 注意 在 性 质 4 的 秩 1 展开 式 中 的 每 一 项 
用 两 个 向 量 u,v: 以 及 还 有 一 个 数 si 表示 . WR A 是 n x n KE, 我 们 可 以 通过 
把 性 质 4 中 和 的 最 后 几 项 (这 些 项 带 有 较 小 的 si) 去 掉 来 尝试 有 损 压 缩 . 在 这 个 展 
开 式 中 的 每 一 项 需要 2n + 1 个 数 存 储 或 传送 . 

例如 , WR n = 8, 矩阵 由 64 个 数 确定 . 但 是 我 们 可 以 仅仅 用 2n+1 = 17 个 
数 来 传送 或 存储 展开 式 中 的 第 一 项 . 如 果 绝 大 部 分 信息 由 第 一 项 截获 一 例如 , 如 
果 第 一 个 奇异 值 比 其 余 的 大 得 多 一 一 用 这 种 方式 大 约 可 以 节约 75% 的 空间 . 

作为 例子 , 回 到 图 11-6 所 表示 的 8 x 8 像素 块 . ME 128 后 使 像素 值 集中 于 零 
周围 , 矩阵 由 等 式 (11.15) 给 出 . 这 个 8 x 8 甜 阵 的 奇异 值 如 下 : 


485.52 364.33 64.55 60.91 
18.98 10.24 7.31 2.40 


原来 的 块 如 图 12-5a 所 示 , 压缩 形式 如 图 12-5b 和 图 12-5c 所 示 . 图 12-5b 相应 于 
用 性 质 4 的 展开 式 中 的 第 一 项 代替 这 个 矩阵 , 是 像素 值 矩 阵 的 最 佳 秩 1 近似 . 如 前 
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所 述 , 它 近似 地 达到 4:1 压缩 . 在 图 12-5c H, 用 了 两 项 , 达到 2:1 的 近似 压缩 比 ( 当 
然 , 通过 不 用 量化 策略 , 我 们 在 这 里 简化 了 讨论 . 如 在 第 11 章 所 做 的 , 它 将 以 较 低 
的 精度 帮助 把 系数 与 较 小 的 奇异 值 相 对 应 ). 


Le a eT e 345 67 Ss ar rr 
(a) (b) (e) 


图 12-5 用 SVD 进行 压缩 和 解压 的 结果 . 保持 的 奇异 值 个 数 : (a) 全 部 , (b)p = 1, (c) p= 2 


图 12-5 "HAR ( 色 标 ) 度 照 片 是 256 x 256 像素 图 像 在 对 每 一 个 像素 元 素 减 去 
128 后 , 我 们 也 可 以 把 性 质 4 应 用 到 整个 矩阵 ， 和 矩阵 的 256 个 奇异 值 从 9 637 到 
2 x 10-15 变化 . 图 12-6 表示 在 性 质 4 的 秩 1 展开 式 中 由 于 保持 p 项 而 得 到 的 重 
构象 . 对 于 p= 8, 仅仅 8(2(256) + 1) = 4 104 个 数 需 要 存储 . 与 5(256)? = 65 536 
个 原来 的 像素 值 比 较 , 大 约 是 16:1 的 压缩 比 . 在 图 12-6c 中 保持 了 32 项 , 压缩 比 近 
WF 4:1. 


| Sir 2 s 250) ie 
50 100 150 200 250 50 100 150 200 250 50 100 150 200 250 
(a) (b) (9 
图 12-6 用 SVD 进行 压缩 和 解压 的 结果 . 保持 的 奇异 值 个 数 :(a) p = 8, 
(b) p = 16, (c) p = 32 


12.4.4 计算 SVD 
如 果 4 是 实 对 称 矩 阵 , SVD 化 简 为 本 章 前 面 讨 论 过 的 特征 值 计 算 . 此 时 , 单位 


特征 向 量 形成 一 组 正 交 基 . 如 果 我 们 定义 矩阵 V 以 单位 特征 向 量 为 列 , 那么 AV = 
US 表示 特征 向 量 方程 , 这 里 S 是 以 特征 值 的 绝对 值 为 对 角 元 的 对 角 矩 阵 , U 与 
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V 除了 像 在 (12.26) 中 讨论 过 的 当 特 征 值 是 负数 时 列 的 符号 要 改变 外 , 它们 是 相同 
的 . 因为 和 V 是 正 交 和 矩阵 , 所 以 


A=USVT 


是 A 的 奇异 值 分 解 . 

对 于 一 般 的 , 非 对 称 的 m xm 矩阵 A, 为 了 确定 SVD 有 两 种 不 同 的 计算 方法 . 
第 一 种 且 非 常 明显 的 方法 是 形成 ATA 并 且 求 它 的 特征 值 . 根据 定理 12.10, 它 揭示 
T V 的 各 列 vi, 而 且 通过 把 向 量 Av, = su; 标准 化 , 我 们 既得 到 了 奇异 值 又 得 到 
T U 的 各 列 . 

然而 , 对 于 简单 例子 并 不 推荐 这 种 方法 . 如 果 4 的 条 件数 大 , BA ATA 的 条 
件数 (经 常 是 4 的 条 件数 的 平方 量 级 ) 可 能 变 得 过 分 大 , 因此 可 能 损失 精确 的 数 
字 . 

幸运 的 是 , 有 另外 一 种 避免 形成 矩阵 乘积 的 求 ATA 的 特征 值 的 方法 . 考虑 矩 


B= | 机 ] (12.35) 


注意 B 是 对 称 的 (m+n) x (m+n) 矩阵 (检查 它 的 转 置 ). 因此 , 它 有 非 负 实 特征 
值 以 及 一 组 特征 向 量 基 . 设 [v, w] 表示 (m+n) 维 向 量 , 它 是 B 的 特征 向 量 , 那么 


ATw _| 0 AT v |a]? 
Av | [a 0 wj w |? 
或 者 Av = dw. 在 左边 乘 以 AT 得 到 


ATAv = \ATw = Xv, (12.36) 


表明 v 是 ATA 的 特征 向 量 , 相应 的 特征 值 是 X. 注意 我 们 能 够 用 这 种 方法 确定 
ATA 的 特征 值 和 特征 向 量 , 始终 不 需要 形成 矩阵 ATA. 

因此 , 计算 奇异 值 和 奇异 向 量 的 第 二 种 更 可 取 的 方法 从 把 对 称 矩 阵 B 转移 到 
上 Hessenberg 形式 . 因为 对 称 性 , 上 Hessenberg 形式 等 价 于 三 对 角 矩 阵 . 于 是 像 移 
位 QR 算法 这 样 的 方法 可 以 用 于 求 等 于 奇异 值 平 方 的 特征 值 , 以 及 其 顶部 的 ”个 
元 素 是 奇异 向 量 v; 的 特征 向 量 . 尽管 这 种 方法 把 矩阵 的 大 小 加 倍 , 但 是 它 避 免 了 
不 必要 的 条 件数 的 增加 . 还 有 更 有 效 的 方法 执行 这 种 思想 (我 们 将 不 在 这 里 进行 )， 
它们 不 需要 额外 的 存储 . 


计算 机 问题 12.4 
1. 用 MATLAB 的 svd 命 令 求 下 列 矩 阵 的 最 佳 秩 1 近似 : 


阵 
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[3 i 4 ye oe 8 1 5 3 
(a) ee |} Jol ‘ :| (|2 ee 


-3 1 


2. 求 下 列 矩 阵 的 最 佳 秩 2 近似 : 


fi124 -2 4 1 5 3 
@)|1ı 33|; Œœ] 1 -1 2 |; @| 2 -3 2]. 
lool -3 3 -6 -3 1 1 


3. 求 下 列 向 量 的 最 佳 最 小 二 乘 近 似 直线 以 及 这 些 向 量 到 一 维 子 空间 的 投影 : 


oj DIGG 


1 
1 
3 


4. 求 下 列 三 维 向 量 的 最 佳 最 小 二 乘 近 似 平面 , 以 及 这 些 向 量 到 这 个 子 空间 的 投影 : 


(c) | 2 1], 


「 1 2 2) 71 2 -1 7 1 
(a)}2],)3],J 1],]} 1 |; () ,| 4 | -2],] 1 
La] Ls 6 3 1 0 1 0 


5. 写 出 用 矩阵 (12.35) 计算 矩阵 奇异 值 的 MATLAB 程 序 . 用 以 前 给 出 的 上 Hessenberg 代码 ， 


并 且 用 移 位 QR 求 最 后 得 到 的 特征 值 问 题 . 用 你 的 方法 求 下 列 矩 阵 的 奇异 值 : 

30]. 6 -2| o1], -4 -12 ], 
(e) tsk ot spol al oly u | 
©] ° rae 


-1 0 
6. 继续 计算 机 问题 5, 加 上 代码 求 矩 阵 的 完整 的 SVD. 


T. 使 用 在 计算 机 问题 6 中 建立 的 代码 求 以 下 箱 阵 的 完整 的 SVD, 并 把 你 的 结果 与 MATLAB 命 


令 sva 比 较 (你 的 答案 应 与 在 ui vi 中 负 号 的 选择 相 一 致 ): 


ar 0 1 3 
1024 1 Gaye 

4 5 ; (b; 3 ; 
® Des Ot ta ©). Ni 
o 1 


-1 1 1 0 
0 1 3 -1 
2-1 一 1 2 


(a) 


8. 用 MATLAB 的 inreaa 命 令 导 入 相片 用 SVD 来 创建 相片 的 8 : 1,4 : 1 及 2 : 1 压缩 形 
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式 . 如 果 相 片 是 彩色 的 , 分 别 压缩 每 一 种 RGB 色彩 . 


软件 和 进一步 阅读 

特征 值 计 算 的 现代 阶段 是 由 Wilkinson 的 教科 书 [13] 开创 的 ,QR 算法 及 上 Hessenberg 
形式 已 经 出 现在 [14]. 关于 特征 值 计 算 有 影响 的 参考 书 是 [11,6,5] 以 及 提示 文章 [7,12]. 

Lapack0 对 化 简 上 Hessenberg 形式 和 对 称 及 非 对 称 特征 值 问题 提供 了 程序 , 这 些 程序 
从 20 世纪 60 年 代 建立 的 Eispach 软件 包 ol 转变 而 来 ，Netlib 的 DGEHRD 通过 使 用 
Householder 反射 把 实 和 矩阵 化 简 为 上 Hessenberg 形式 , 并 且 DHSEQR 实现 了 用 于 计算 特征 
值 的 QR 算法 以 及 用 于 实 上 Hessenberg 矩阵 的 Schur 形式 . NAG 对 同样 的 两 种 运算 分 别提 
PET FO8NEF 和 F08PEF. 对 复 矩 阵 有 类 似 的 程序 . 

教科 书 [9,2] 对 大 型 特征 值 问题 考虑 了 最 新 方法 ，Cuppenl 对 三 对 角 对 称 特 征 值 问题 引 
进 了 分 治 方法 ，Arpack 适 于 大 型 稀疏 问题 的 Arnoldi 迭代 , Parpack 是 对 并 行 处 理 器 的 一 种 
扩展 . 

奇异 值 分 解 的 算法 包括 Lapack 的 DGESVE 以 及 对 大 型 矩阵 更 可 取 的 分 治 方法 DGESDD. 


复数 形式 也 是 适用 的 . 


第 13 章 最 优 化 


从 1953 年 DNA 双 螺 旋 结 构 的 发 现 开 始 , 半 个 世纪 以 来 , 已 经 发 现 了 人 类 基因 
组 几乎 全 部 的 排序 . 这 个 序列 持 有 把 氨基 酸 囊 与 保持 生命 活动 的 单个 蛋白 质 混合 起 
来 的 指令 , 但 却 写 成 加 密语 言 形式 . 该 信息 现在 等 待 翻译 , 通过 它 人 们 可 以 详尽 地 
了 解 它 的 生理 机 能 . 包括 基因 疗法 和 药物 设计 在 内 的 一 系列 潜在 应 用 , 将 促进 疾病 
的 早期 预防 、 PRA. 

把 氨基 酸 到 功能 蛋白 质 结合 起 来 关键 依靠 范 德 华 (Van der Waals) 力 , 即 自由 
原子 之 间 的 微观 吸引 力 和 排斥 力 . 原子 群 模型 ， 其 中 这 些 力 通过 Lennard-Jones # 
能 建 模 , 用 于 最 小 化 能 量 构造 的 研究 , 它 将 问题 引入 了 最 优化 领域 . 

实例 检验 13.2.3 节 后 的 实例 检验 13 应 用 本 章 的 优化 方法 去 求解 能 源 最 小 化 
问题 . 


最 优化 是 指 找 一 个 实 值 函数 即 目标 函数 (objective function) 的 最 大 值 或 最 小 
值 . 由 于 求解 函数 f(z) 的 最 大 值 等 价 于 求 函数 —f(c) 的 最 小 值 , 因此 在 设计 计算 
方法 的 时 候 只 需 考虑 最 小 化 就 可 以 了 . 

一 些 最 优化 问题 需要 求 带 有 几 个 等 式 和 不 等 式 约 束 的 目标 函数 的 最 小 值 . 例 
如 , 尽管 zi 是 图 13-1 中 函数 的 全 局 最 小 值 , 但 z2 却 是 满足 约束 条 件 z > 0 的 最 
小 值 . 特别 地 , 线性 规划 考虑 目标 函数 和 约束 条 件 都 是 线性 的 问题 . 在 本 章 中 , 我 们 
将 继续 使 事情 简化 , 仅仅 考虑 无 约束 最 优化 . 


y 


Æ 13-1 f(z) = 5z4 + 3z3 — 4r? — z + 2 的 最 小 值 问题 . 该 无 约束 最 小 
值 问题 mins f(z) 的 解 是 zi 
根据 是 否 使 用 目标 函数 的 导数 , 无 约束 优化 的 方法 分 成 两 组 . 如 果 f(z) BAR 
数 函数 , 在 大 多 数 情 况 下 它 的 导数 可 以 用 手 算 或 计算 机 代数 而 容易 地 获得 . 如 果 可 
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能 的 话 , 应 该 使 用 导数 的 信息 , 但 是 存在 一 些 它 可 能 不 行 的 原因 . 特别 是 目标 函数 
可 能 太 复杂 、 维 数 太 高 或 者 是 不 可 微 的 情形 下 是 如 此 . 


13.1 ”没有 导数 的 无 约束 最 优化 


本 节 假 设 对 每 一 个 给 定 的 z 都 可 以 得 到 目标 函数 f(z) 的 一 个 值 , 但 f(z) 的 
导数 (或 者 偏 导 数 , 当 f(z) 是 多 维 时 ) 不 存在 . 我 们 将 讨论 不 使 用 导数 进行 优化 的 
3 种 方法 : 黄金 分 割 法 , 连续 抛物 线 插值 法 和 Nelder-Mead 法 . 前 两 种 方法 只 能 用 
于 一 元 函数 f(z), 但 Nelder-Mead 可 用 于 多 元 函数 的 情形 . 


13.1.1 “黄金 分 割 探索 


一 旦 求解 区 间 已 知 , 黄金 分 割 法 是 用 于 求解 一 元 函数 f(z) 最 小 值 的 一 种 有 效 
方法 . 

定义 13.1 称 连 续 函 数 flz) 在 区 间 [a, 上 是 单 峰 的 (unimodal), 如 果 在 [a,b] 
上 有 且 仅 有 一 个 相对 极 小 值 或 极 大 值 且 f(T) 在 其 他 点 是 严格 递减 或 严格 递增 . 

一 个 单 峰 函数 是 先 单调 递增 到 区 间 (a, b) 上 的 相对 极 大 值 处 , 然后 再 单调 递减 ， 
或 者 先 单调 递减 到 区 间 [o, 包 上 的 相对 极 小 值 处 , 再 单调 递增 . 

假设 f 是 单 峰 的 且 在 [o, 中 上 有 相对 极 小 值 . 选择 区 间 内 的 两 点 z1 和 zo, 使 
得 a <x < za <b, A 13-2 是 [a,b] = [0,1] 的 情况 . 我 们 将 用 一 个 新 的 、 更 小 的 依 
旧 包 含 相对 极 小 值 的 区 间 替 代 原 区 间 , 按照 以 下 规则 : 如 果 f(z1) < f(z2), 在 下 一 
步 中 保留 区 间 [a, za]; 如 果 f(z1) > f(z2), 则 保留 区 间 [err b]. 


y 


1 1 


4 ae et 
(a) (b) 
图 13-2 黄金 分 割 法 . (a) 在 当前 区 间 [0, 1) 上 比较 在 ri, rz 两 点 的 目标 
函数 值 . 如 果 f(z1) < f(z2), 则 新 区 间 为 [0, rz]，(b) 在 下 一 步 
中 , 令 9 = za 且 类 似 地 比较 z1g 和 rag 
注意 到 在 任意 一 种 情况 下 , 新 的 区 间 包 含 单 峰 函数 f(z) 的 一 个 相对 极 小 值 . 例 
如 , 如 图 13-2 所 示 , 如 果 f(z1) < f(z2), 由 于 单 峰 假设 , 最 小 值 肯定 在 za 的 左边 取 
得 . 这 是 因为 f 一 定单 调 减 到 最 小 值 的 左边 , 因此 f(z1) < f(z2) 意味 着 zz 一 定 在 
最 小 值 的 右边 . 同样 , f(z1) > f(z2) 意味 着 区 间 [z1,4] 包含 最 小 值 . 由 于 新 区 间 比 
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以 前 的 区 间 [a,b] 小 , 因此 求 最 小 值得 以 一 步 步 前 进 . RAPHE, 直到 包 
含 最 小 值 的 区 间 足 够 小 . 该 方法 类 似 于 求 根 的 对 分 法 . 

下 面 讨论 在 区 间 (a,b) 上 如 何 放置 r 和 z2. 在 每 一 步 中 , 我 们 想 用 尽 可 能 少 
的 工作 , 尽 可 能 多 地 减少 区 间 长 度 . 区 间 [a,b] = (0, 1] 的 上 述 实现 方式 如 图 13-3 所 
示 . zk 和 zo 的 选择 要 满足 两 个 准则 : (a) 使 得 它们 关于 区 间 对 称 (因为 我 们 没有 
关于 最 小 值 位 于 区 间 哪 端的 任何 信息 ); (b) 选择 它们 使 得 不 管 选 哪个 作为 新 区 间 ， 
zl 和 za 都 在 下 一 步 中 被 使 用 . 也 就 是 说 , BER (a) zl = 1 — 29; (b) zl = 3. 如 图 
13-3 所 示 , 如 果 新 区 间 是 [0, za], 准则 (b) 保证 原来 的 zi 将 是 下 一 个 新 区 间 的 2; 
因此 , 只 需要 计算 一 次 函数 值 即 f(z19) 即 可 . 同样 , 如 果 新 区 间 是 [z1,1], 则 za 将 
会 成 为 新 的 z1， 能 再 次 使 用 函数 值 表 明 从 第 一 步 之 后 , 每 步 只 需 计 算 一 次 目标 函 
数 的 值 就 行 了 . 


0 E n 1 


0 Tg Tg g 
图 13-3 黄金 分 割 法 中 比例 的 选取 ， 上面 的 线段 与 下 面 的 线段 的 比例 是 
1/g = (1+ V5)/2, 即 黄金 分 割 . z! 和 z2 被 精确 地 选取 , 使 得 
不 管 新 区 间 是 [0, z2] 还 是 [z1, 1], 其 中 一 点 被 重用 为 新 区 间 的 
内 点 , 从 而 把 每 步 所 需 计算 目标 函数 值 的 次 数 减 少 为 1 
准则 (a) 和 (b) 合 起 来 意味 着 23 + z2 - 1 = 0. 这 个 二 次 方程 的 正 根 是 za = 
9 = (V5 一 1)/2. 要 使 用 该 算法 , 目标 函数 在 [a,b] 上 必须 是 单 峰 的 且 f(z) 在 区 间 
(er, za] 内 部 函数 值 均 存在 , 其 中 
a < zı =a + (1 — g)(b— a) < t2 =a + g(b — a) < b. 
注意 到 zl 和 za 是 满足 a,b EB 1- gA g 的 值 . 按 上 述 方法 选择 新 区 间 且 重复 
以 上 步骤 . 新 区 间 是 原 区 间 长 度 的 9 倍 , 因此 在 步 后 当前 的 区 间 长 度 为 g*(b 一 a). 
最 终 区 间 的 中 点 正好 是 最 终 区 间 长 度 的 一 半 , 即 gb- a)/2. 我 们 已 经 证 明了 下 述 
定理 : 
定理 13.2 从 初始 区 间 [a, 出 发 ,用 黄金 分 割 法 k 步 后 所 得 最 终 区 间 的 中 
点 是 最 小 值 的 g*(b 一 a)/2 倍 , HP g = (V5 — 1)/2 ~ 0.618. 
黄金 分 割 法 
假设 是 [o, 电 上 有 极 小 值 的 单 峰 函数 . 
for i = 1,2,3,--- 
g =(v5-1)/2 
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if f(a+(1-— g)(b-— a)) < f(a + g(b— a)) 


b=a+g(b—a) 
else 
a=a+(1—g)(b—a) 
end 


end 


最 终 区 间 [a,b] 含有 一 个 最 小 值 . 


亮点 “收敛 性 

按照 定理 13.2, 黄金 分 割 法 以 g ~ 0.618 的 速度 线性 收敛 于 最 小 值 . 
有 趣 的 是 该 方法 和 第 1 章 中 求解 方程 根 的 对 分 法 有 很 多 相似 点 . 虽然 它 
们 求解 不 同 的 问题 , 但 两 者 均 全 局 收敛 , 也 就 是 说 从 合适 的 条 件 (在 黄金 
分 割 法 中 函数 在 [a,b] 上 是 单 峰 的 , 在 对 分 法 中 f(a)f(b) < 0) 出 发 它们 
最 终 都 能 保证 收敛 到 一 个 解 . 两 者 均 不 需要 可 微 . 两 者 每 步 均 只 计算 一 次 
函数 值 且 都 是 线性 收敛 的 .对 分 法 的 收敛 速度 稍 快 点 , 其 线性 收敛 速度 
K = 0.5 < g = 0.618. 它们 都 属于 慢 而 稳 的 有 价值 的 方法 范畴 . 


黄金 分 割 法 的 MATLAB 代 码 要 求 从 第 二 步 起 每 步 计算 一 个 函数 值 , 这 正如 前 面 
所 说 的 . 

% Program 13.1 Golden Section Search for minimum of f(x) 

% Start with unimodal f(x) and minimum in [a,b] 

% Input: inline function f, interval [a,b], number of steps k 

% Output: approximate minimum y 

function y=gss(f,a,b,k) 

g= (sqrt (5) -1)/2; 

x1 = a+(1-g)* (b-a); 

x2 = a+g* (b-a); 

£1=£ (x1); £2=£ (x2); 


for i=1:k 
if fl < f2 % if f(x1) < £(x2), replace b with x2 
b=x2; x2=x1; xl=a+(1-g)* (b-a); 
f£2=f1; fl=f(x1); % single function evaluation 
else % otherwise, replace a with x1 
a=xl; xl=x2; x2=a+g* (b-a); 
fl=f2; f2=f(x2); % single function evaluation 
end 
end 
y=(a+b)/2; 
例 13.1 用 黄金 分 割 法 求解 函数 f(z) = zs — 1123 + 172? — 7z +1 在 区 间 
[0,1] 上 的 最 小 值 . < 


图 13-2 展示 出 了 该 方法 的 前 两 步 . 在 第 一 步 中 , zl = 1- 9,22 = g, 其 中 
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g = (V5-1)/2. 由 于 f(z1) < f(z2), 区 间 [0,1] 被 [0,g] 取代 . 新 的 21,22 分 别 
是 以 前 的 zig, zz9. 在 第 二 步 中 , 再 次 有 f(z1) < f(z2), 因此 区 间 (0, g) 被 (0, 22) 所 
替代 . 前 15 步 的 信息 如 表 13-1 所 示 . 


表 13-1 
步 数 a En T2 b 
0 0.0000 0.382 0 0.618 0 1.000 0 
1 0.000 0 0.236 1 0.382 0 0.618 0 
2 0.000 0 0.145 9 0.236 1 0.382 0 
3 0.145 9 0.236 1 0.291 8 0.382 0 
4 0.236 1 0.291 8 0.326 2 0.382 0 
5 0.236 1 0.270 5 0.291 8 0.326 2 
6 0.270 5 0.291 8 0.305 0 0.326 2 
7 0.270 5 0.283 7 0.291 8 0.305 0 
8 0.270 5 0.278 6 0.283 7 0.291 8 
9 0.278 6 0.283 7 0.286 8 0.291 8 
10 0.278 6 0.281 7 0.283 7 0.286 8 
11 0.281 7 0.283 7 0.284 9 0.286 8 
12 0.281 7 0.282 9 0.283 7 0.284 9 
13 0.282 9 0.283 7 0.284 1 0.284 9 
14 0.282 9 0.283 4 0.283 7 0.284 1 
15 0.283 4 0.283 7 0.283 8 0.284 1 


和 迭代 15 步 后 , 我 们 可 以 说 最 小 值 在 0.283 4 和 0.283 8 之 间 . 


13.1.2 ”连续 抛物 线 插值 法 


在 黄金 分 割 法 中 , 除了 比较 f(z1) 和 f(z2) 的 大 小 外 , 它们 的 函数 值 并 没有 用 
到 . 不 管 一 个 比 另 一 个 大 多 少 , 我 们 都 应 该 决定 如 何 前 进 . 本 节 描述 一 种 较 少 浪费 
函数 值 的 新 方法 , 该 方法 使 用 函数 值 建 立 了 函数 f 的 局 部 模型 . 

选择 的 局 部 模型 是 抛物 线 , 在 第 3 章 中 我 们 已 经 知道 它 由 3 个 点 唯一 确定 . 如 
13-4 所 示 , 首先 在 最 小 值 附近 选 3 个 点 7, s,t. 计算 在 这 3 点 的 目标 函数 f 的 值 
且 画 出 过 这 3 点 的 抛物 线 . 差分 如 下 : 


7 | f(r) 
dı 

s | f(s) d3 
dz 

t| f(t) 


其 中 由 = (f(s) — f(r))/(s =r): = (FE) — f(s))/(t— 8), ds = (d2 — di) /(t— r). 
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此 可 得 抛物 线 如 下 : 
P(x) = f(r) + di(£ — r) + da(z —7)(z — 8). (13.1) 
令 P(z) 的 导数 为 0 去 求 抛物 线 的 最 小 值 , 得 到 的 公式 
_r+s 6) = f(r)(t — N- s) (182) 


2 A(s—r)(FO — F(s)) — (f(s) — FE- s) 
是 最 小 值 的 新 的 近似 . 在 连续 抛物 线 算法 中 新 的 z 将 替代 rst 中 最 远 的 或 最 次 
(least optimal) 的 点 , 如 果 需 要 的 话 则 重复 该 过 程 . 不 像 黄金 分 割 法 那样 , 连续 抛物 
线 算法 不 一 定 收敛 . 但 如 果 它 确实 收敛 的 话 则 速度 要 更 快 一 些 , 因为 它 更 明智 地 使 
用 了 函数 值 的 信息 . 


CD 
(a) (b) 
图 13-4 连续 抛物 线 插值 算法 . (a) 过 当前 3 A r, s,t 的 抛物 线 且 抛物 线 
的 最 小 值 z 用 于 代替 当前 点 s. (b) 用 新 的 7, s,t 重复 该 步骤 


连续 抛物 线 插值 算法 
从 极 小 值 点 7,s,t 开始 
for i = 1,2,3,..- 
puke ios (f(s) = f(r)(t = r)(t = 8) 
2 2(s—r)(F(t) — f(s) — (F(s) — f(r))(t - 8)] 
t= 


end 
在 下 面 的 MArrAB 代 码 中 , 抛物 线 的 最 小 值 代替 了 当前 3 个 点 中 的 最 远 点 : 


% Program 13.2 Successive Parabolic Interpolation 

% Input: inline function f, initial guesses r,s,t, steps k 
% Output: approximate minimum x 

function x=spi(f,r,s,t,k) 

x(1)=r;x(2)=s;x(3)=t; 

fr=f (r) ;fs=f(s) ;ft=f(t); 
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for i=4:k+3 

x(i)=(xr+s) /2-(£s-fr) * (t-r) * (t-s) /(2* ((s-r) * (ft-fs) 
-(fs-fr)*(t-s))); 

x (i); 

r;fr=f (r); % single function evaluation 


例 13.2 ”用 连续 抛物 线 算法 求 f(z) = zs - 11r? +172? - 72 +1 在 区 间 [0,1] 
上 的 最 小 值 . 
选用 初始 点 7 = 0,s = 0.7,t = 1, 我 们 计算 如 表 13-2 所 示 的 几 步 . 


表 13-2 
步 数 z f(x) 
0 1.000 000 000 000 00 1.000 000 000 000 00 
0 0.700 000 000 000 00 0.774 649 000 000 00 
0 0.000 000 000 000 00 1.000 000 000 000 00 
1 0.500 000 000 000 00 0.390 625 000 000 00 
2 0.385 896 835 485 38 0.201 472 878 145 00 
3 0.331 751 296 025 24 0.148 441 657 246 73 
4 0.237 355 733 167 21 0.149 337 377 644 02 
5 0.285 266 172 693 72 0.131 726 603 381 64 
6 0.285 169 421 616 39 0.131 724 261 362 34 
7 0.283 740 694 642 18 0.131 706 464 517 92 
8 0.283 646 476 311 23 0.131 706 398 590 35 
9 0.283 648 264 375 69 0.131 706 398 563 01 
10 0.283 648 358 329 62 0.131 706 398 562 95 
11 0.283 648 358 083 77 0.131 706 398 562 95 
12 0.283 648 332 187 29 0.131 706 398 562 95 


我 们 推断 出 最 小 值 在 Tmin = 0.283 648 3 附近 . 注意 到 12 步 之 后 我 们 已 经 远 
远 胜 过 了 使 用 更 少 函 数值 的 黄金 分 割 法 . 尽管 使 用 了 函数 f 的 精确 值 , 但 我 们 并 没 
有 使 用 目标 函数 的 导数 信息 , 然而 黄金 分 割 法 仅仅 用 到 了 函数 值 的 比较 . 

从 表 的 结尾 处 我 们 产生 了 好 奇 心 . 像 在 第 1 章 首先 讨论 的 那样 , 函数 在 相对 极 
大 值 和 极 小 值 附近 趋 于 平坦 . 由 于 zmin 精确 到 10-7 有 相同 的 极 小 函数 值 , 因此 当 
使 用 IEEE 双 精 度 时 不 管 迭代 多 少 步 我 们 都 不 可 能 超出 这 个 精确 值 . 由 于 最 小 值 一 
般 出 现在 函数 导数 为 零 的 点 处 , 因此 这 个 困难 不 是 优化 方法 的 失误 , 而 是 浮 点 计算 
的 局 限 性 . 

从 GSS 到 SPI 的 进步 类 似 于 从 对 分 法 到 割 线 法 以 及 逆 二 次 插值 . 建立 函数 的 
一 个 局 部 模型 而 且 运作 起 来 似乎 是 目标 函数 有 助 于 加 速 收敛 . 
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13.1.3 Nelder-Mead 搜索 


对 一 个 多 元 函数 来 说 , 方法 变 得 更 复杂 . Nelder-Mead 搜索 试图 将 一 个 多 面体 
FU” 式 地 展开 到 最 低 可 能 的 层次 . 因此 , 它 又 称 为 下 山 单纯 形 法 (downhill simplex 
method). 它 不 使 用 目标 函数 的 导数 . 

假设 要 极 小 化 有 n 个 自 变量 的 函数 f. 该 方法 用 n+l 个 n 维 空间 中 的 猜测 向 
量 z1,… ,zn+1 作为 初始 向 量 , 它们 构成 了 n 维 单纯 形 的 顶点 . 例如 , 如 果 n= 2， 
则 初始 的 3 个 猜测 向 量 形成 了 平面 中 三 角形 的 顶点. 

单纯 形 中 的 顶点 被 检验 且 根据 它们 函数 值 y < 加 < … < yng = yn 的 大 小 
升序 排列 . 最 不 优 的 单纯 形 向 量 rn = ony 将 按照 图 13-5 的 流程 图 被 替代 . 首先 
记 除去 zh 的 单纯 形 表面 的 质心 为 T. 然后 像 图 13-5a 中 所 示 , 我 们 检查 关于 反射 
点 wr = 2F 一 wh 的 函数 值 w = f(x). 如 果 新 的 yr 的 值 满足 yi < yr < yn, 我 们 
将 用 2, 替代 最 坏 的 点 =w, 按 函 数值 将 顶点 排序 , 且 重复 这 个 步骤 . 


一 [收缩 
TEE xc 


CET] 


(b) 


图 13-5 Nelder-Mead 搜索 . (a) 最 大 函数 值 点 zs ALOA T ERER 
点 被 检测 .(b) 描述 该 方法 一 步 的 流程 图 
如 果 比 当 前 的 最 小 值 vi 小 , 那么 设法 进行 外 推 , 用 ze = 3T — 2zn 来 看 我 
们 是 否 在 该 方向 应 前 进 更 多 . 对 这 个 步骤 来 说 更 好 的 rz。 和 z 是 被 接受 的 . 另 一 
方面 , WR y- 比 加 (当前 的 最 大 值 , 一 旦 sn 被 忽略 的 话 ) K, 那么 不 论 是 在 如 图 
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所 示 的 外 收缩 点 zoc = 1.57 一 0.5zn 还 是 在 内 收缩 点 zic = 0.5E+0.50n, 都 要 进 一 
步 检 测 . 在 这 两 个 点 中 任何 一 个 不 能 改进 意味 着 通过 扩充 并 不 能 前 进 , 该 算法 应 寻 
求 更 靠近 最 优 值 的 点 . 在 进行 下 一 步 之 前 , 先 在 当前 最 小 值 zi 的 方向 缩小 到 原来 
的 $. MATLAB 代 码 如 下 , 内 联 函数 f 是 关于 变量 x(1) ,x(2),... ,x(n) 的 . 


% Program 13.3 Nelder-Mead Search 
% Input: inline function f, best guess xbar (column vector), 


多 initial search radius rad and number of steps k 
% Output: matrix x whose columns are vertices of simplex, 
% function values y of those vertices 


function [x,y] =neldermead(f,xbar,rad,k) 
n=length (xbar) ; 


x(:,1)=xbar; % each column of x is a simplex vertex 
x(:,2:n+1) =xbar*ones(1,n)+rad*eye(n,n); 
for :n+1 
y(j)=f(x(:,j)); % evaluate obj function f at each vertex 
end 
ly. r)=sort (y); % sort the function values in ascending order 
x=x(:,r); $ and rank the vertices the same way 
for i=1:k 
xbar=mean(x(:,1:n)')'; % xbar is the centroid of the face 
xh=x(:,n+1); $ omitting the worst vertex xh 


xr = 2*xbar - xh; yr = f(xr); 
if yr < y(n) 


if yr < y(1) % try expansion xe 
xe = 3*xbar - 2*xh; ye = f (xe); 
if ye < yr % accept expansion 
x(:,n+1) = xe; y(n+1) = f(xe); 
else % accept reflection 
X(:,n+1) = xr; y(n+1) = £(xr); 
end 
else % xr is middle of pack, accept reflection 
x(:,m+1) = xr; y(n+1) = £(xr); 
end 
else % xr is still the worst vertex, contract 
if yr < y(n+1) % try outside contraction xoc 
xoc = 1.5*xbar - 0.5*xh; yoc = f(xoc); 
if Yoc < yr % accept outside contraction 
x(:,n+1) = xoc; y(n+1) = £(xoc); 
else % shrink simplex toward best point 
for j=2:n+1 
(2,5) = 0.5*x(:,1)+0.5*x(:,j); y(j) = f(x(:,j)); 
end 
end 
else % xr is even worse than the previous worst 


xic = 0.5*xbar+0.5*xh; yic = f(xic); 
if yic < y(n+1) % accept inside contraction 
x(:,n+1) = xic; y(n+1) = £(xic); 
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else % shrink simplex toward best point 
for j=2:n+1 
X(2,j) = 0.5*x(2,1)4+0.5*x(2,5)3 y(3) = £(x(:,5))7 
end 
end 
end 
end 
ly,r] = sort(y); % resort the obj function values 
x=x(:,r); % and rank the vertices the same way 
end 


代码 实现 的 流程 图 如 图 13-5b 所 示 . 迭代 步 数 需要 输入 . 计算 机 问题 8 要 求 读 
者 根据 用 户 给 定 的 容许 误差 界 的 停止 准则 重新 写 该 程序 . 一 般 的 停止 准则 既 要 求 单 
纯 形 大 小 的 减少 在 容许 的 范围 内 , 又 要 求 在 项 点 处 函数 最 大 值 的 传播 在 小 的 容许 范 
围 内 . MATLAB 用 它 的 fminsearch 命令 实现 Nelder-Mead 方法 . 


习题 13.1 
1. 证 明 下 面 函 数 在 某 区 间 上 是 单 峰 的 , 并 且 找 出 它 的 绝对 极 小 值 和 取 到 该 极 小 值 的 点 . 
(a) f(z) = e7 +e”; (b) f(z) = 2°; 
(c) f(z) = 224 + z; (d) f(z) =x- Inz. 
2. 找 出 给 定 区 间 上 的 绝对 极 小 值 和 取 到 该 极 小 值 的 点 . 
(a) f(x) = cosz, x € [3, 4]; (b) f(x) = 20° + 32? — 122 + 3, x € (0, 2]; 
(c) f(a) = 2° + 62? + 5, z € [一 5,5]; (d) f(x) = 22 +e7*, x € [一 5,5]. 


计算 机 问题 13.1 


1. 画 出 函数 f(z) 的 图 像 , 找 出 长 度 唯一 的 初始 区 间 , 在 该 区 间 上 f(z) 在 相对 极 小 值 附 近 
是 单 峰 的 . 然后 用 GSS 去 查找 函数 的 每 一 个 相对 极 小 值 , 保留 5 位 有 效 数字 . 
(a) f(x) = 2z4 + 32? — 4z + 5; (b) f(z) = 3z4 + 4z? — 122? + 5; 
(c) f(x) =2° + 304 — 22% +2?-2-7; (d) f(z) =2°+ 3x4 — 122° +2? — 2-7. 

2. 对 计算 机 问题 1 中 的 函数 用 SPI. 查找 函数 的 极 小 点 , 保留 5 位 有 效 数字 . 

3. 用 两 种 不 同 的 方法 去 找 双 曲线 y = 1/z 上 离 点 (2,3) 最 近 的 点 : (a) 用 牛顿 法 找 临 界 点 ; 
(b) 关于 锥 上 的 点 和 点 (2,3) 间 的 距离 的 平方 , 用 黄金 分 割 法 求解 . 

4. 用 计算 机 问题 3 中 (a), (b) 的 方法 , RAPA 4z? + 9y? = 4 上 离 点 (1,5) 最 远 的 点 . 

5. 用 Nelder-Mead 方法 求解 函数 f(x,y) = e-* + (x — 1)? + (y—1)? 的 最 小 值 . 试 着 用 
不 同 的 初始 条 件 , 并 且 比 较 结果 . 用 该 方法 , 你 能 精确 到 几 位 有 效 数字 ? 

6. 用 Nelder-Mead 方法 求解 下 列 函数 的 最 小 值 ， 精 确 到 小 数 点 后 6 位 (每 个 函数 有 两 个 最 
小 值 ): 
(a) f(x,y) = a4 + y* + 20? y? + Gry — 4r — 4y +1 
(b) f(z,y) = 2° +y° + 327y? — 2? — y? — 22y 

7. 用 Nelder-Mead 方法 求解 Rosenbrock 函数 f(x,y) = 100(y— x”)? + (z — 1)? 的 最 小 值 . 

8. 重 写 程序 13.3, 使 停止 准则 与 基于 用 户 指定 的 误差 容 限 的 Nelder-Mead 方法 相 适应 , 通 
过 对 计算 机 问题 6 中 的 目标 函数 求 极 小 值 , 精确 到 小 数 点 后 6 位 , 来 说 明 这 一 点 . 
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导数 含有 关于 函数 值 增加 和 减少 的 速度 的 信息 , 偏 导数 还 表明 最 快 增加 和 减 
少 的 方向 . 如 果 关 于 目标 函数 的 导数 信息 可 用 , 那么 可 以 使 用 它 来 更 有 效 地 去 求 最 
优 解 . 


13.2.1 牛顿 法 


如 果 函 数 是 连续 可 微 的 且 可 以 计算 导数 , 那么 最 优化 问题 可 以 表示 成 一 个 求 根 
问题 . 我 们 首先 考虑 一 维 的 情况 , 该 情况 的 解释 是 最 简单 的 . 

一 个 连续 可 微 的 函数 f(z) 在 最 小 值 z* 处 的 一 阶 导数 一 定 为 零 . 第 1 章 中 的 
方法 可 用 于 求解 新 方程 /(z) = 0 的 解 . 如 果 目 标 函 数 是 单 峰 的 且 在 区 间 上 有 最 小 
值 , 则 以 最 小 值 z* 的 附近 点 作为 初始 点 , 用 牛顿 法 将 会 收敛 到 z*. 用 于 f(x) = 0 
的 牛顿 法 形成 迭代 


ii Sag pet (13.3) 
然而 牛顿 法 (13.3) 将 找到 f'(z) = 0 的 点 , 一 般 来 说 , 这 些 点 不 一 定 是 最 小 值 
点 . 找到 最 优 值 的 一 个 合理 的 初始 估计 且 一 旦 找到 后 检查 这 些 点 的 最 优 性 是 很 重 
要 的 . 
用 这 种 方法 优化 函数 f(z1,… ,zn) 会 用 到 多 元 函数 的 牛顿 法 .正如 在 一 维 情 
形 一 样 , 我 们 想 要 让 导数 为 零 然后 求解 . 因此 , 我 们 得 到 


vf=0, (13.4) 


其 中 
of 


of 
a, th yn) Bn, TI 12n) 


v=] 


表示 f 的 梯度 . 

第 2 章 中 向 量 值 函 数 的 牛顿 法 保证 (13.4) 可 求解 . 令 F(z) = Vf(z), 牛顿 法 
的 迭代 步 为 zk+l = zk 十 v, 其 中 wv 是 DF(zk)v = —F (xx) 的 解 . 梯度 的 雅 可 比 矩 阵 
DF 是 


of o of 
Or1071 Ori07n 
Hy =DF= : : (13.5) 
af f 


Brzn5zl © OrnOzn 
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这 是 f 的 Hessian 矩阵 . 因此 牛顿 法 变 为 


例 13.3 


小 值 . 


{ Hj(zk)v = -V f (£k) 


Tk+1 = Tk +U 


(13.6) 


用 牛顿 法 求解 函数 f(z,y) = 524 + 4z2y — ry? + 4yt 一 z 的 最 


< 


函数 如 图 13-6 所 示 . 它 的 梯度 为 Vf = (2023 + 8ry—y? —1, 4x? — 3ary? + 16y), 
Hessian 矩阵 为 


步 数 


Ay(2,y) = | 


601? +8y 8z 一 3y2 
8z 一 3y2 —6ry + 48y? 


] l 


图 136 二 维 函 数 的 表面 图 : z =5r* + 4z2y 一 zy? +4y* 一 z 的 图 . 用 
牛顿 法 求 得 最 小 值 大 约 出 现在 (0.492 3, -0.364 3) 


用 牛顿 法 (13.6) 迭代 10 次 , 得 到 如 表 13-3 所 示 的 结果 . 


3 


# 13-3 
y 


(x,y) 


Oanwonwo 


1.000 000 000 000 00 
0.644 295 302 013 42 
0.430 640 345 429 56 
0.338 779 714 333 52 
0.500 097 336 967 80 
0.497 373 505 714 30 
0.492 550 006 518 77 


1.000 000 000 000 00 
0.637 583 892 617 45 
0.392 332 987 022 31 
0.198 577 141 607 17 
一 0.447 719 295 197 63 
一 0.379 726 457 286 44 
—0.364 977 537 465 14 


11.000 000 000 000 00 
1.770 018 678 274 22 
0.101 120 065 375 34 

—0.178 185 859 772 25 

—0.429 640 650 539 18 

—0.456 737 196 647 08 

—0.457 520 090 077 57 
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( 续 ) 
步 数 z y f(z,y) 
7 0.492 308 317 591 06 —0.364 287 045 691 73 一 0.457 521 622 627 01 
8 0.492 307 786 726 81 —0.364 285 559 933 21 —0.457 521 622 634 07 
9 0.492 307 786 724 34 一 0.364 285 559 926 34 一 0.457 521 622 634 07 
10 0.492 307 786 724 34 —0.364 285 559 926 34 一 0.457 521 622 634 07 


牛顿 法 在 计算 机 精度 范围 内 收敛 到 最 小 值 -0.457 5 附近 . 注意 用 牛顿 法 求解 最 小 
化 问题 的 另 一 个 特点 : 在 解 中 我 们 获得 了 机 器 精度 , 不 像 一 维 的 SPI 那样 . 原因 是 
我 们 不 再 作用 于 目标 函数 而 是 把 问题 重新 转化 为 涉及 梯度 的 求 根 问题 . 由 于 Vf 在 
最 优 值 处 有 单 根 , 因此 让 前 向 误差 向 机 器 误差 靠近 是 不 困难 的 . 

如 果 可 以 计算 函数 的 Hessian 矩阵, 我 们 一 般 选 牛顿 法 . 在 二 维 的 情况 下 , Hes- 
sian 矩阵 通常 是 存在 的 . 在 n 维 情况 下 , 仅仅 可 以 计算 n 维 向 量 在 每 一 个 点 的 梯 
度 , 但 却 无 法 构造 n x n 的 Hessian PE. 下 面 的 两 种 方法 通常 比 牛 顿 法 要 收敛 的 慢 ， 
但 仅仅 需要 计算 在 各 个 点 的 梯度 值 . 

13.2.2 BATEA 

最 速 下 降 法 (steepest descent) 又 称 梯度 法 (gradient search), 它 的 基本 思想 是 从 
当前 点 沿 着 下 降 最 快 的 方向 来 搜索 函数 的 最 小 值 . 由 于 梯度 Vf 指向 f 增加 最 快 
的 方向 , 因此 它 的 反方 向 -Vf 是 最 速 下 降 方向 . 我 们 应 该 沿 着 这 个 方向 走 多 长 呢 ? 
现在 把 问题 降 阶 为 沿 直线 的 极 小 化 问题 , 用 一 维 方法 确定 该 走 多 远 . 在 沿 着 最 速 下 
降 方 向 找到 新 的 最 小 值 之 后 , 从 这 个 点 开始 , 重复 这 个 过 程 . 也 就 是 说 , 找到 在 新 的 
点 处 的 梯度 , 且 在 新 的 方向 作 一 维 最 小 化 . 

最 速 下 降 法 是 一 个 迭代 循环 . 

最 速 下 降 法 
for i= 0,1,2,- 
v= Vf(ai) 
对 于 标量 的 s = s* 极 小 化 f(z — sv) 
Titl = Ti — 8*v 

end 

我 们 将 最 速 下 降 法 用 于 例 13.3 的 目标 函数 . 

例 13.4 用 最 速 下 降 法 求解 函数 f(z,y) = 5z4 + 4r2y — cy? + 4yt — 2 的 最 
小 值 

按 前 述 的 步骤 , 我 们 用 SPI 求解 一 维 最 小 化 问题 . 25 步 的 迭代 结果 如 表 13-4. 
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表 13-4 
步 数 z Y fy) 
0 1.000 000 000 000 00 一 1.000 000 000 000 00 11.000 000 000 000 00 
5 0.403 145 795 181 13 一 0.279 920 882 717 56 一 0.419 648 888 306 51 
10 0.491 968 950 851 12 —0.362 164 043 742 06 一 0.457 506 805 237 54 
15 0.492 282 844 337 76 一 0.364 266 356 861 72 一 0.457 521 619 340 16 
20 0.492 307 864 175 32 一 0.364 285 395 672 77 一 0.457 521 622 633 89 
25 0.492 307 782 621 42 —0.364 285 565 780 33 一 0.457 521 622 634 07 


毫 无 疑问 , 与 牛顿 法 相 比 它 的 收敛 速度 慢 . 这 是 因为 牛顿 法 是 求解 一 个 方程 且 使 用 
一 阶 和 二 阶 导数 信息 (包括 Hessian 矩阵 ), 而 最 速 下 降 法 实际 上 是 沿 着 下 降 方向 最 
小 化 且 仅 仅 使 用 一 阶 导数 信息 . 4 
13.2.3 HMR 

在 第 2 章 中 , HARRERA TRENK EEEE E. 现在 从 不 同 的 方向 回 到 
这 种 方法 上 来 . 

当 4 是 对 称 正定 矩阵 时 , 求解 hz = b 等 价 于 求解 一 个 抛物 面 的 最 小 值 , 例 
如 , 在 二 维 的 情形 下 , 线性 系统 


a b zı | _ |e 
ERIA can 
f(z1,72) = zat} + bay z2 + 503 — ez — fr2 (13.8) 
的 最 小 值 . 原因 是 f 的 梯度 为 


Vf = [azı + br — e, br, + cz2 — f]. 


在 最 小 值 处 的 梯度 为 零 , 这 就 得 到 了 前 面 的 矩阵 方程 . 正定 意味 着 抛物 面 是 目的. 

关键 的 观察 是 , 线性 系统 (13.7) 的 残 差 7 =b- Aw 是 -Vf(z), 即 函数 f 在 
s 点 处 的 最 速 下 降 方向 . 假设 已 经 选 了 一 个 搜索 方向 , 记 为 向 量 d. 沿 着 那个 方向 
极 小 化 (13.8) 中 的 f, 等 价 于 求 使 得 函数 h(a) = f(z + ad) 最 小 的 a. 令 导 数 为 零 
得 到 最 小 值 : 


0=Vf:d=(A(z +ad)- (e, f)")-d=(aAd—r)"d. 


的 解 是 抛物 面 


这 意味 着 


加 
dAd dAd 
SPR MERE RT REN EH 2.13 得 到 的 . 


a 
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由 上 面 的 计算 , 我 们 推断 可 以 选用 共 思 梯度 法 求解 一 个 抛物 面 的 最 小 值 , 但 是 
要 代 之 以 
ni=—Vf 


和 
ai = 使 flzi-l + ad;-1) 极 小 化 的 a 


事实 上 , 从 这 种 方式 看 , 注意 到 我 们 已 经 完全 用 f RRT RARE. 不 再 涉及 A. 
对 一 般 的 函数 f, 可 以 用 这 种 形式 的 方法 . 在 f 有 抛物 线形 状 的 区 域 附近 , 这 种 方 
法 将 快速 地 移 向 底部 . 新 的 算法 有 以 下 步骤 : 


FEHR EE 
令 zo 为 初始 猜测 , 并 设 do = ro = -Vf 
for 使 f(zi-1 + ad)_1) 最 小 化 的 i= 1,2,3,- 
Ti = Ti-l + Qidi-1 
ni=—Yf(zi) 


rir 
B= Mica: 
di = ri + Bidi-1 

end 

我 们 将 该 新 方法 用 于 一 个 熟悉 的 例子 . 

例 13.5 HIIRE, 求解 函数 f(x,y) = 5z4 十 4z2y — ry? + 4y4 一 z 的 最 
小 值 . 

按 前 述 的 步骤 , 用 SPI 求解 一 维 最 小 化 问题 . 20 步 的 迭代 结果 如 表 13-5. 


表 13-5 
步 数 z y f(z,y) 
0 1.000 000 000 000 00 1.000 000 000 000 00 11.000 000 000 000 00 
5 0.460 386 575 999 35 一 0.383 161 140 298 60 一 0.448 499 534 206 21 
10 0.490 488 928 071 81 —0.361 065 611 278 30 —0.457 484 771 714 84 
15 0.492 437 149 561 28 —0.364 216 614 735 26 —0.457 521 476 043 12 
20 0.492 314 777 515 83 —0.364 298 172 753 71 一 0.457 521 622 069 84 


无 约束 优化 的 范围 很 广 , 这 一 章 的 方法 仅仅 代表 冰山 一 角 . 像 SPI RAYE 
法 那样 , 信赖 域 方法 (trust region method) 形 成 了 局 部 模型 , 但 是 它们 仅仅 适用 于 一 
特定 的 区 域 , 该 区 域 在 搜索 前 进 时 变 窄 . MATLAB 优化 工具 箱 中 的 期 fminunc 程序 
就 是 信赖 域 方 法 的 一 个 例子 .模拟 退火 (simulated annealing) 是 一 种 随机 算法 , 它 
试图 使 目标 函数 前 进 较 慢 , 但 会 小 的 正 的 概率 接受 向 上 步 , 这 是 为 了 避免 收敛 到 非 
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最 优 的 局 部 极 小 值 . 一 般 而 言 , 遗传 算法 (genetic algorithm) 和 进化 计算 提出 了 全 新 
的 优化 方法 并 且 人 们 现在 仍然 在 积极 探究 它们 . 

约束 优化 是 在 一 系列 约束 下 求 一 个 目标 函数 的 最 小 值 . 这 些 问题 中 最 常见 的 是 
线性 规划 , 自从 20 世纪 中 期 形成 后 它 已 经 可 以 通过 单纯 形 方法 求解 , 尽管 最 近 基 
于 内 点 法 的 新 的 更 快 的 算法 已 经 出 现 . 二 次 非 线 性 规划 问题 需要 更 复杂 的 方法 . 参 
考 有 关 这 方面 的 文献 . < 


计算 机 问题 13.2 


1. 用 牛顿 法 求 函数 f(z,y) = e -= + (2—1)? + (y— 1)? 的 最 小 值 , 取 不 同 的 初始 条 件 , 比 
较 所 得 的 结果 . 用 这 种 方法 你 能 得 到 几 位 有 效 数 字 ? 

2. 用 牛顿 法 求 下 面 函 数 的 最 小 值 , 精确 到 小 数 点 后 6 位 (每 个 函数 有 两 个 最 小 值 ). 
(a) f(x,y) = at +y + 20?y? +6ry— 4a — 4y + 1; 
(b) f(x,y) = 2° +y? + 307y? — 2? — y? — 2zy. 

3. 求 Rosenbrock 函数 f(z, y) = 100(y — 2”)? + (z — 1)? 的 最 小 值 , 通过 使 用 (a) 牛顿 法 ; 
(b) 最 速 下 降 法 . 用 初始 点 (2,2). 经 过 多 少 步 之 后 可 得 到 解 ? 解释 一 下 它们 所 获得 的 精 
度 的 差异 . 

4. 用 最 速 下 降 法 求 计算 机 问题 2 中 函数 的 最 小 值 . 

. FSR REE RT SOP Ia 2 中 函数 的 最 小 值 . 

6. 用 共 配 梯度 法 求 下 列 函数 的 最 小 值 , 保留 5 位 有 效 数 字 . 
(a) f(x,y) = zf + 2y* 十 3z2y2 + 6z2y 一 3zy2 十 47 — 2y; 
(b) f(x,y) = 2° +2%y4 +y? +30 + 2y. 


实例 检验 13 ”分 子 结构 和 数值 优化 


蛋白 质 的 功能 和 它 形式 有 关 : 蛋白 质 的 形状 决定 了 它 的 功能 , 分 子 形状 的 节 和 折 痕 使 它们 
捆绑 和 成 块 一 一 这 是 它们 一 起 作用 所 必需 的 . 控制 氨基 酸 构成 TH) 为 蛋白 质 的 力 是 由 于 原 
子 间 的 化 学 键 和 自由 原子 间 更 弱 的 分 子 间 相互 作用 , 如 静电 和 范 德 华 力 . 对 于 紧密 捆绑 德 蛋 白 
质 而 言 , 后 者 尤其 重要 . 

当前 预测 蛋白 质 构成 的 一 种 方法 是 求 氨基 酸 的 完整 构造 的 最 小 势能 值 . 通过 Lennard- 
Jones 势能 建立 范 德 华 力 


a 


1 2 
UM) =a 


其 中 代表 两 个 原子 之 间 的 距离 . 图 13-7 表明 用 势能 定义 能 量 源 . er > 1 时 , 是 吸引 力 ; 当 原 
子 间 距离 比 r = 1 近 时 , 是 很 强 的 排斥 力 . 对 一 族 原子 , 它们 的 位 置 为 (zt y1, 21), (Cn, Ym, 
zn), 被 最 小 化 的 目标 函数 是 关于 所 有 原子 对 的 两 两 Lennard-Jones 势能 


1 2 
oF (ea) 


ig i 


之 和 , 其 中 


Tij = V (ei = 25)? + (yi — y)? + (zi — z)? 
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表示 原子 i 和 j 的 距离 . 最 优化 问题 中 的 向 量 是 原子 的 直角 坐标 系 . 要 考虑 平移 对 称 和 转动 对 
称 : 如 果 这 一 族 沿 着 直线 移动 或 转动 ,总 能 量 是 不 变 的 .为 了 处 理 对 称 性 ,我 们 将 通过 把 第 一 
个 原子 固定 在 原点 vı = (0,0,0) 且 要 求 第 二 个 原子 位 于 z $E ve = (0,0, 22), 来 限制 可 能 的 
构造 . 剩余 变量 (zs, ys, zs),… , (En, Yn» Zn) 的 位 置 是 通过 最 小 化 势能 函数 U 得 到 的 . 


Yy 


t 


-让 


图 13-7 Lennard-Jones 势能 U(r) = sty 一 3. 最 小 能 量 是 -1, 在 7 = 1 处 取得 


在 图 13-7 的 帮助 下 , 通过 计算 Lennard-Jones 能 量 的 最 小 值 来 定位 4 个 或 更 少 的 原子 是 
简单 的 . 注意 到 单一 势能 在 > = 1 的 最 小 势能 是 —1. 因此 , 两 个 原子 可 以 相隔 一 个 单位 , 以 至 
于 能 量 位 于 槽 的 底部 3 个 原子 可 以 置 于 等 边 三 角形 上 , 第 4 个 原子 置 于 到 这 3 个 顶点 距离 相 
等 处 , 也 就 是 , 位 于 这 个 三 角形 上 方 , 形成 一 个 等 边 四 面体 , 对 n = 2, 3,4 时 的 总 势能 U 是 -1 
与 交互 作用 数 的 乘积 , 或 分 别 为 一 1, 一 3, -6. 

然而 第 5 个 原子 的 放置 不 是 那么 明显 . 当 n = 4 时 , 没有 点 到 四 面体 的 4 个 顶点 是 等 距 
的 , 所 以 需要 新 的 方法 : 数值 优化 . 


. 活动 建议 
1. 写 一 个 返回 势能 的 函数 文件 . 用 Nelder-Mead 法 去 求解 n = 5 时 的 最 小 能 量 . 用 不 同 的 
初始 猜测 , 直到 你 确信 已 经 得 到 了 绝对 极 小 值 . 需要 多 少 步 ? 
2. 用 MATLAB 命 令 plot3, 用 圆圈 画 出 5 个 原子 的 最 小 能 量 的 构造 , 且 用 线段 连接 所 有 的 
圆圈 来 观察 符合 要 求 的 分 子 . 
3. 延伸 第 1 步 中 的 函数 使 得 它 返回 f 和 梯度 向 量 Vf. 对 n = 5 的 情况 , 用 最 速 下 降 法 . 
如 前 面 那样 求解 最 小 能 量 . 
如 果 MATLAB 优 化 工具 箱 可 行 的 话 , 用 命令 fminunc, 仅仅 用 目标 函数 f. 
,用 fminunc, 使 用 f 和 梯度 Vf. 
.把 前 面 的 方法 作用 于 n = 6. 按照 可 靠 性 和 有 效 性 对 方法 分 类 . 
对 更 大 的 mw 确定 并 画 出 它 的 最 小 能 量 构造 . 当 n 大 至 儿 百 时 , 关于 最 小 能 量 Lennard- 
Jones 族 的 信息 在 许多 网 上 都 有 提供 , 因此 你 可 以 检查 所 得 到 的 答案 . 
蛋白 质 折 又 问题 已 经 成 为 各 个 学 科 优化 研究 的 温床 . 模拟 退火 和 强 有 力 的 拟 牛 顿 法 
经 常用 于 预测 复杂 分 子 的 构造 ， 同 时 针对 分 子 间 力 进行 更 现实 的 建 模 蛋白 质数 据 库 
(Protein Data Bank) http: //www.rcsb.org/pdb 对 于 生物 大 分 子 结构 数据 提供 了 有 用 
的 世界 范围 的 存档 . 通过 实验 , 更 广泛 地 列 出 所 测量 的 原子 位 置 是 可 行 的 , 可 用 于 测试 和 


zase 
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确认 关于 力 和 能 量 最 小 化 的 假设 . 


软件 和 进一步 阅读 


关于 最 优化 的 介绍 包括 [L,7,5]. 有 用 的 指南 [4] 包含 专门 为 优化 而 设计 的 许多 软件 包 的 参 
考 . 大 量 的 各 种 类 型 的 测试 问题 可 以 在 [2] 中 找到 . 由 西北 大 学 和 Argonne 国家 实验 室 运行 
的 最 优化 技术 中 心 http://www.ece.northwestern.edu/0TC 有 许多 可 用 到 软件 的 链接 . 

Netlib 的 opt 词典 含有 大 量 可 行 的 优化 方法 , 包括 : hooke (不 带 导数 的 无 约束 优化 , 通过 
Hooke 和 Jeeves 方法 ), praxis (不 需要 导数 的 无 约束 优化 ), 以 及 tn (无 约束 优化 和 简单 约束 
优化 的 牛顿 法 )， 由 Chapman 和 Naylor 提出 的 WNLIB, 包含 无 约束 和 约束 优化 的 非 线性 方 
法 , 它 是 基于 共 思 梯 度 法 和 共 因 C 方 向 法 的 (以 及 一 般 的 模拟 退火 算法 ). 

MATLAB 优 化 工具 箱包 括 多 种 约束 和 无 约束 非 线性 优化 问题 的 方法 . TOMLAB 优化 环境 
在 MATLAB 工 具 箱 的 基础 上 提供 了 大 量 的 非 线 性 优化 的 工具 . 它 有 统一 的 输入 一 输出 格式 、 
优选 的 GUI 和 对 导数 的 自动 处 理 . 在 mathtool.net 上 的 优化 目录 包括 许多 用 MATLAB 和 其 
他 语言 编写 的 解法 . 


附录 A 和 矩阵 代数 


首先 简要 回顾 一 下 矩阵 代数 中 的 基本 定义 - 


A.l 和 矩阵 基础 


向 量 (Vector) 是 一 个 数组 


Un 
如 果 它 含有 n 个 数 就 称 为 n 维 向 量 . RATT ARENT EAA ALE (column vector) 与 水 平 排列 
的 数组 即行 向 量 (row vector) 


u = [uaua2 ,un] 
区 分 开 来 . m x mn 矩阵 (matrix) 是 一 个 m x n 数组 , 其 形式 为 
2 
A= 
ami ` amn 


A 的 每 一 行 (水 平 的 ) 可 以 认为 是 A 的 一 个 行 向 量 , 而 每 一 列 ( 竖 直 的 ) 可 以 认为 是 A 的 一 个 列 向 量 . 
MERE- 向量 乘法 产生 一 个 新 向 量 , 定义 如 下 : 


ur 
PEE 4 aru + al2u2 +--+ + ainun 
2 


(AD 


ami … amn Qmltul + am212 十 …… + AmnUn 


注意 , 为 了 用 一 个 d 维 向 量 去 乘 m x n 和 矩阵 , 必需 n= d. 
在 矩阵 -矩阵 乘法 中 , 一 个 m x n 矩阵 乘 以 一 个 n x p 矩阵 得 到 的 乘积 是 m x p 矩阵 . 矩阵 相 乘 能 
用 矩阵 一 向 量 乘法 来 表示 . 令 C 是 n x p 矩阵 , 把 它 写成 列 向 最 形式 


C= el…lop]. 
那么 矩阵 A RIEM C 的 乘积 就 是 
AC = Aley|---|ep] = [Acil---|Aepl- 
可 以 把 含 n 个 未 知 量 , m 个 线性 方程 的 方程 组 写成 矩阵 形式 


an ain 
| z2 b2 


ami … amn 
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称 为 矩阵 方程 (matrix equation). 

nxn 单位 矩阵 (identity matrix) In 是 Iu = 1,1i; = 0 (1 Sij Smi ¥ j) WHER. TE 
的 乘法 运算 , 单位 矩阵 的 作用 就 像 单 位 一 样 , 即 AT, = In A = A, 对 任 一 n x n ERE A 都 成 立 . 对 于 
nx n 矩阵 A, A 的 逆 (inverse) A`! 是 一 个 n xm 矩阵 , 它 满足 AA-! = ATIA = In. MR A Bit 
JERE, 就 称 它 为 可 逆 的 (invertible). AAW AMER A BAN (singular). 

m x n 矩阵 A 的 转 置 (transpose) 是 矩阵 AT, 其 元 素 为 AT = Aji. 乘积 的 转 置 法 则 是 (AB)? = 


BTAT. 
有 两 种 方式 进行 两 个 向 量 的 相 乘 . 设 
v 
Un 
内 积 (inner product) uTv, 先 把 u 转 置 成 行 向 量 , 然后 由 通常 的 矩阵 乘法 给 出 
uly =u +--+ Untn. 


因此 1 x n 和 n x 1 和 矩阵 的 乘积 得 到 的 结果 是 1 x 1 矩阵 (或 者 实数 )， 如果 uTw = 0, 那么 两 个 列 向 量 
垂直 (orthogonal). 外 积 (outer product) uvT 是 n x 1 列 乘 以 1 x n 行 , 通常 的 矩阵 乘法 就 给 出 一 个 
nx n 矩阵 ,其 结果 是 


Un 


uv wwz tA 

8 uzvi Uav2 > un 
uv? = 

unv Sgr Ss UnUn 


外 积 是 秩 为 1 的 矩阵 ， 

因为 计算 道 矩 阵 的 计算 复杂 性 高 , 所 以 要 尽 可 能 避免 或 减少 这 种 计算 . Sherman-Morrison 公式 是 一 种 
有 益 的 技巧 . 假设 已 经 知道 n x n 和 矩阵 A ARE, 并 且 我 们 需要 修改 后 的 矩阵 A+ wwT MEER, 这 
Hu Al vn 维 向 量 . 

定理 A.1(Sherman-Morrison 公式 ) ”如 果 vTAT už -1, 那么 At uv” TEHA 


(A+ uT) = A-1- A 


通过 把 A + uvT 乘 以 公式 中 的 表达 式 就 得 到 Sherman-Morrison 公式 ， 因 为 wuT ÆRA 1 的 矩 
BE, 所 以 A+ uvT 称 为 A 的 秩 1 校正 (关于 Sherman-Morrson 公式 的 一 种 重要 应 用 , 可 见 第 2 章 中 
Broyden 方法 的 讨论 . 能 在 线性 代数 教科 书 , 比如 [4, 2] 中 找到 有 关 和 矩阵 的 基本 内 容 ). 


A.2 分 块 相 乘 


矩阵 乘法 可 以 分 块 进行 , 这 在 第 12 章 中 将 非常 有 益 . 如 果 把 两 个 矩阵 分 成 与 矩阵 乘法 相 容 的 小 块 ， 那 
么 就 能 用 块 状 矩阵 乘法 来 进行 这 种 矩阵 的 求 积 . 例如 , 可 以 用 以 下 分 块 来 进行 两 个 3 x 3 矩阵 的 乘积 : 


A3 特征 值 和 特征 向 量 553 


这 里 An 和 By 是 1 x 1 SBE, Aiz 和 B12 是 1 x 2 矩阵 , 如 此 等 等 . 例如 


中- [> 


1x2+[23] R waseaf? 


pa] Gei iia] 


进行 分 块 矩 阵 乘法 给 出 与 没有 分 块 的 乘法 相同 的 结果 . 这 个 着 眼 于 矩阵 乘法 的 另 一 种 方式 不 但 减少 了 
计算 , 而 且 帮 助 秒 记 , 特别 是 在 第 12 章 的 特征 值 的 计算 . 

分 块 所 需要 的 相 容 性 是 A 的 列 数 必须 刚好 与 B 的 行 数 相 匹配 ， 在 前 面 的 例子 中 ，A 的 第 一 列 是 一 
组 , 而 最 后 两 列 是 另 一 组 . 对 矩阵 B, 第 一 行 是 一 组 , 而 最 后 两 行 是 另 一 组 . 再 举 一 个 例子 , 我 们 能 分 块 进行 
3x 5 SHBE A 和 5 x 2 SIRE B 的 乘法 : 


7 [ Aa Bu + Aaa Bas + Aas Bai | A21A12 + AzaBaa + Ans Bao ] i 


在 这 一 情形 ，A 的 列 分 成 三 组 ,BB 的 行 分 成 三 组 , 正好 相 匹配 . 另 一 方面 A 的 行 的 分 组 与 B 的 列 的 
分 组 不 需 匹配 , 它们 可 以 任意 操作 . 


A.3 ”特征 值 和 特征 向 量 


我 们 首先 简单 回顾 一 下 特征 值 和 特征 向 量 的 基本 概念. 

定义 A.2 LAA MX m KH, cA m 维 实 或 复 的 非 零 向量， 如 果 对 某 一 实数 或 复数 入 成 立 
Aw = dx, 那么 称 A 为 4 的 特征 值 (eigenvalue), 而 = 是 相应 的 特征 向 量 (eigenvector). 

例如 , 矩阵 A = [3 3] 有 特征 向 量 [}] ,相应 的 特征 值 是 4. 

特征 值 是 特征 值 多 项 式 (characteristic polynomial)det(A — AZ) 的 根 A. 车 和 是 A 的 特征 值 , 则 
A-M 的 零 空间 中 的 任意 非 零 向 量 就 是 对 应 于 和 的 特征 向 量 . 对 这 个 例子 ， 
1 一 入 3 


det(A — AI) = det 
et( ) [ 2 2-2 


] = (A-1)(A—2)-6 =(A—4)(A4+-0), (A.2) 
所 以 特征 值 是 A = 4, 一 1. 相应 于 和 = 4 的 特征 向 量 在 


-3 3 
a-u] 3 4] (A-3) 


的 零 空间 求 得 ,因此 由 ] MERRI. ph, 相应 于 A= 一 1 RERE |2] AEE 
信 数 . 


定义 A.3 ”如 果 存在 可 递 mxm S, 使 得 Al = SA2S 1, BAR mx m HH Al 与 Az 相 
似 (similar), 记 作 Ar ~ A2 
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因为 相似 矩阵 的 特征 多 项 式 相同 , 所 以 它们 有 相同 的 特征 值 : 
A, — AI = S42S-1 一 AT= S(h42 一 XDS-1 (A.4) 
意味 着 
det(A1 — AI) = (det S) det(Az — AI) det S~! = det(A2 — AI). (A.5) 


WREE A 有 形成 R™ 的 基 的 特征 向 量 , BA, A SMEL, 并 且 称 A 是 可 对 角 化 的 (diag- 
onalizable). 事实 上 , 假设 As; = 和 iwi(i = ym) 并 且 定义 矩阵 


S= [ml … em], 
那么 可 以 验证 矩阵 方程 
入 


AS=S (A.6) 


Am 
成 立 . 因为 矩阵 S 的 列 (向 量 ) 张 成 R, 所 以 S 可 逆 . 因此 A 与 一 个 包含 其 特征 值 的 对 角 矩 阵 相似 . 
即使 在 2 x 2 情形 ,也 不 是 所 有 的 矩阵 可 以 对 角 化 . 事实 上 , 所 有 2 x 2 矩阵 相似 于 以 下 三 种 类 型 


a 0 at a 一 
mfa oh “fa 2], =|, mal 
请 记 住 : 相似 矩阵 的 特征 值 相同 . 如 果 有 张 成 R? 的 两 个 特征 向 量 , 那么 A 与 第 一 种 情形 相似 ; 如 果 


有 重 特 征 值 并 仅 有 一 维特 征 向 量 空间 ， 那 么 矩阵 与 第 二 种 情形 相似 ; 如 果 有 一 对 复 特征 值 ， 那 么 就 与 第 三 种 
情形 相似 . 


A.4 xt HE 


对 于 对 称 矩 阵 , 所 有 特征 向 量 互相 正 交 ， 并 且 它 们 一 起 张 成 基础 空间 ， 换 言 之 , REAR ALTE 
征 向 量 基 . 

定义 A.4 如 果 向 重组 的 成 员 是 彼此 正 交 的 单位 向 量 , 则 这 组 向 量 是 正 交 的 . 

用 点 积 表示 向 量 组 (wi,--- , wm} 的 正 交 性 就 是 : 如 果 iZ j, 则 wrw = 0, IFA wrw = 1(1 < 
i,j <m). 例如 , 向 量 组 {(1, 0,0), (0, 1,0), (0,0, 1)} 和 {(V2/2, V2/2), (V3/2, 一 V2/2)} 是 正 交 向 量 组 

定理 A.5 Mit A 是 实 对 称 mm x m 短 阵 ， 那 么 特征 值 是 实数 并且 A 的 单位 特征 向 量 组 是 形成 


JRm 基 的 正 交 向 量 组 {wi,---, wm}. 
g-i 
a? (A) 
2 
的 特征 值 和 特征 向 量 . 


例 A.1 R 
如 前 计算 , 特征 值 /特征 向 量 对 是 2, (1, 2)7 和 —1/2,(—2,1)7. 注意 , 如 定理 所 指出 的 , 特征 向 量 正 
交 . 相应 的 正 交 单 位 特征 向 量 是 

v5 
| S - | | 
V5 


es 
以 下 定理 将 有 助 于 学 习 第 2 EPR: 
定义 AG FH A 的 谱 半 径 o(A) 是 它 的 特征 值 的 模 的 最 大 值 . 


2e 
v5 


v5 
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定理 A.T ”如果 n x n 6H A HHH (A) < 1, b RERA, 那么 对 任 一 向 量 zo, BK 
mk+1 = Awe +b Kak. 实际 上 , 存在 唯一 向 量 2。 使 得 lim mk = 2. HH we = Az. +b. 


而 且 , WR b= 0, BA m。 或 者 是 零 向 量 或 者 是 A 的 关于 特征 值 1 的 特征 向 量 . 因为 谱 半径 
p(A) <1. 后 者 不 予 考虑 , 这 就 导致 以 下 在 第 8 章 中 有 用 的 事实 . 


推论 A.8 wRnxn BH A 的 谱 半径 P(LA) <1, 那么 ,对 任 一 初始 向 量 wo, RK mk+1 = Avy 
收 敏 到 0. 


A5 ”向量 微 积分 


本 节 定义 标量 值 和 向 量 值 函数 的 导数 ,而 且 为 了 以 后 的 使 用 还 收集 了 它们 的 乘积 法 则 ， 
BW f(z1,… ,zn) 是 n 个 变量 的 标量 值 函数 ,7 的 梯度 (gradient) 是 向 量 值 函 数 


Vf(z1 tn) = [far , fen), 
这 里 下 标 表示 f 关于 那个 变量 的 偏 导数 . 


设 
falzi, tn) 
(cl ,zn) = : 


加 (zzn) 
是 n 个 变量 的 向 量 值 函 数 ，F 的 Jacobi 矩阵 是 
Vf 
DF(z1,.… ,zn) = 


Vin 

现在 可 以 叙述 在 矩阵 代数 中 两 种 典型 积 的 乘积 法 则 . 当 把 它们 写成 分 量 并 且 应 用 单 变量 乘积 法 则 时 , 两 
者 都 有 简洁 的 证 明 . BE u(z1,… ,zn) 和 v(z1,… ,zn) 是 向 量 值 函数 ,而且 令 A(z1,… ,zn) 是 nxn 
矩阵 函数 ， 点 积 uly 是 标量 值 函 数 . 下 面 第 一 个 公式 表示 如 何 求 它 的 梯度 . 矩阵 和 向 量 的 乘积 Av 是 一 个 
向 量 , 它 的 Jacobi 矩阵 表示 由 第 二 条 法 则 给 出 . 
向 量 点 积 法 则 

V(uTv) = vTDu+aTDu 
ERARE a 
D(Av) = A- Dv + 》 v:Da;, 


izi 
这 里 ai 表示 A 的 第 i 列 . 


附录 B MATLABRIST 


MATLAB 是 一 个 普遍 适用 的 计算 软件 尤其 适用 于 执行 数学 方法 和 数值 方法 . 对 于 小 型 问题 来 说 , MATLAB 
是 一 个 高 能 的 计算 器 ; 对 于 大 型 复杂 问题 来 说 , 则 是 一 种 功能 完备 的 编程 语言 MATLAB 的 一 个 有 益 之 处 在 
于 它 大 量 的 高 质量 的 库 函 数 ,这些 函 数 可 以 使 复杂 的 计算 变 得 简洁 明了 , 并且 容 易 用 高 阶 的 代码 写 出 来 . 

本 节 包 括 对 MATLAB 命 令 及 特性 的 简要 介绍 . 更 详细 的 内 容 可 以 在 MATLAB 的 帮助 文件 、MATLAB 用 
户 指南 、 参考 书 [3, 1] 以 及 致力 于 程序 包 的 网 站 里 找到 . 


B.1 启动 MATLAB 


在 基于 PC 的 系统 中 , 启动 MATLAB 只 需 双击 相应 的 图 标 , 退出 只 要 依次 点 击 菜单 中 的 “文件 /退出 ”. 
而 在 基于 UNIX 的 系统 中 , 在 系统 提示 符 处 输入 MATLAB 代 码 Smatlab, 然后 输入 >> exit 退出 MATLAB. 
输入 命令 >> a=5, 接着 按 回 车 键 , MATLAB 会 把 信息 反馈 给 你 . 输入 命令 

Slee 

>> cea*b 

>> d=log(c) 

>> who 
会 帮助 你 认识 MATLAB 是 如 何 工作 的 . 如 果 想 停止 反馈 信息 ,可 以 在 每 条 命令 后 面 加 上 一 个 分 号 . who 命令 
会 出 现 一 个 列表 , 显示 出 所 定义 的 所 有 变量 . 

MATLAB 有 着 丰富 的 在 线 帮助 功能 . 输入 help log 将 会 获取 有 关 log 命令 的 信息 . MATLAB 的 PC 版 
本 有 一 个 “帮助 ”菜单 ,其 中 含有 关于 所 有 命令 的 描述 和 使 用 建议 

想 消去 变量 a 的 值 , 输入 clear a. 输入 clear 会 消去 所 有 先前 定义 的 变量 . 想 找 回 此 前 输入 过 的 命 
令 , 按 “ 上 箭头 ” 键 . 如 果 命令 太 长 , 在 一 行 里 输 不 下 , 在 行 末尾 输入 3 个 点 号 并 回 车 , 然后 在 下 一 行 接着 输 
入 命令 

为 了 下 次 登录 MATLAB 还 能 使 用 这 些 数据 , 我 们 需要 保存 变量 的 值 , 输入 save; 下 次 运行 MATLAB 的 
时 候 , 只 要 输入 load 就 可 以 恢复 它们 . 想 记录 MATLAB 会 话 窗口 的 部 分 或 完全 内 容 , 输入 diary filename 
开始 记录 , 输入 diary off 结束 记录 . 用 你 选择 的 文件 名 来 代替 filename. 这 个 命令 有 助 于 把 你 当前 的 工 
作 作为 作业 提交 . diary 命令 会 产生 一 个 文件 , 这 个 文件 在 MATLAB 会 话 结 束 之 后 可 以 查看 或 者 打印 . 

MATLAB 一 般 在 IEEE 双 精 度 下 (大约 有 16 位 十 进 制 数 的 精度 ) 执行 所 有 的 计算 . 数值 显示 格式 可 以 
用 format 语句 予以 改变 . 输入 format long 会 改变 数字 显示 的 方式 , 直到 下 个 format 命令 输入 ， 例 如 ， 
1/3 这 个 数 , 格式 不 一 样 , 显示 也 不 一 样 : 

format short 0.3333 format short e 

3.3333E-001 format long 0.33333333333333 format long e 

3.333333333333333E-001 format bank 0.33 format hex 

3£45555555555555 
想 要 控制 更 多 的 输出 格式 , 就 要 用 fprintf 命令 . 命令 

>> x=0:0.1:1; 

>> y=x.^2; 


>> fprintf('%8.5f $8.5f \n', [x;y]) 
将 会 打印 出 下 面 这 个 表格 
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0.00000 0.00000 
0.10000 0.01000 
0.20000 0.04000 
0.30000 0.09000 
0.40000 0.16000 
0.50000 0.25000 
0.60000 0.36000 
0.70000 0.49000 
0.80000 0.64000 
0.90000 0.81000 
1.00000 1.00000 


B.2 #4 图 
要 想 对 数据 进行 绘图 , 先 要 把 它们 表示 成 X.Y 方向 的 向 量 形式 . 例如 , 命令 


>> a=[0.0 0.4 0.8 1.2 1.6 2.0); 

>> besin(a); 

>> plot (a,b) 
将 会 画 出 y = sinz,0 Sr < 2 的 一 条 逐 段 线性 近似 的 图 像 , 如 图 B-1 a 所 示 , 本 例 中 , a 和 b 是 6 维 向 量 ， 
或 者 说 6 元 数组 . 数 轴 上 数 的 字号 可 以 设 为 16 A, 例如 , 可 以 输入 这 个 命令 set(gca, ‘FontSize’,16). 
一 个 更 简单 的 方法 是 用 下 面 的 命令 定义 向 量 a: 


>> a=0:0.4:27 
这 个 命令 定义 向 量 a 的 首 个 分 量 是 0, 递增 的 步 长 为 0.4, 最 后 一 个 分 量 是 2, 与 前 面 的 那 种 较 长 的 定义 相 
同 . 要 绘 出 正弦 曲线 更 精细 的 图 像 ， 可 以 用 下 面 的 命令 : 

>> a=0:0.02:2*pi; 


>> bssin(a); 
>> plot (a,b) 


结果 如 图 B-1 b Bias. 
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图 B-1 MATLAB 图 像 . (a) f(z) = sinz 的 逐 段 线性 图 像 ， 其 中 z 的 步 长 增 量 为 
0.4. (b) 另 一 个 逐 段 图 像 , 看 起 来 更 光滑 一 些 , 那 是 因为 > 的 步 长 增 量 是 
0.02 


上 面 的 命令 中 有 个 奇怪 而 意 想不到 的 符号 . 等 次 符号 前 面 的 点 号 是 让 MATLAB 对 向 量 a 的 每 一 个 元 素 进行 
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平方 运算 . 就 如 我 们 将 在 B.3 节 中 看 到 的 那样, MATLAB 把 每 一 个 变量 都 视 为 矩阵 或 者 双 指标 数组 .如果 略 
去 吞 次 符号 前 面 的 点 号 , 意味 着 将 把 101 x 1 的 矩阵 a HR, 按照 矩阵 相 乘 的 法 则 , 这 是 不 可 乘 的 ， 如 果 你 
非 要 这 么 做 , MATLAB 就 会 报错 . 一 般 来 说 , MATLAB 把 “ 带 点 号 的 运算 ”看 成 是 对 每 个 元 素 逐 个 进行 的 , 而 
不 是 矩阵 相 乘 . 

下 面 介绍 更 高 阶 的 绘图 技巧 . 如 果 不 特 别 指明 , MATLAB 会 自动 选择 数 轴 上 的 标 度 , 就 像 在 图 B-1 中 那 
样 . 要 想 手动 选择 数 轴 上 的 标 度 ， 就 要 用 axis 命令 . 例如 , 下 面 的 命令 

>> v=[-1 1 0 10 ]; axis(v) 
把 图 像 窗口 设 为 [一 1, 1] x [0,10]. grid 命令 会 在 图 像 后 面 绘制 网 格 . 

用 命令 plot (x1，y1，x2，y2，x3，y3) 可 以 在 同一 个 图 像 窗口 绘 出 3 条 曲线 , 每 对 xi, yi 绘制 
一 条 曲线 . 输入 help plot 将 会 看 到 实 线 图 、 点 线 图 、 虚线 图 类 型 , 以 及 不 同 的 数据 点 形状 ( 贺 形 、 点 形 、 三 
角形 、 正 方形 等 ) 的 选择 . 用 semilogy 和 semilogx 命令 可 以 绘制 “ 半 对 数 ” 图 像 . 

subplot 命令 可 以 把 图 像 窗口 分 割 成 多 个 部 分 subplot (abc) 命令 把 窗口 分 成 a x b 个 , 当前 图 像 使 
用 第 c 个 窗口 . 例如 ， 

>> subplot (121) , plot (x,y) 

>> subplot (122) ,plot (x,z) 
把 第 一 个 图 像 绘 制 在 屏幕 左边 ， 第 二 个 绘制 在 右边 figure 命令 会 打开 新 的 绘图 窗口 并 在 不 同 的 绘图 窗口 
间 切 换 . 当 你 需要 同时 查看 儿 个 不 同 的 图 像 时 ， 就 需要 用 到 这 个 命令 . 

三 维 图 的 绘制 要 使 用 mesh 命令 ， 例如, 在 定义 域 [一 1, 1] x [一 2,2] 上 绘制 z= sin(z2 +y?) 的 图 像 ， 
就 要 用 下 面 的 命令 : 

>> [x,y]=meshgrid(-1:0.1:1,-2:0.1:2); 

>> zesin(x.*2+y.*2); 

>> mesh (x,y,z) 

由 meshgrid 命令 产生 的 向 量 x 是 具有 21 行 的 21 维 行 向 量 -1:0.1:1, 类 似 地 , 向 量 y 是 具有 41 
列 的 列 向 量 -2:0.1:2. 由 这 些 代码 产生 的 图 像 如 图 B-2 KR. 用 surt 代替 mesh fir, 则 会 在 图 像 的 表 
面 添上 颜色 . 


图 B2 三 维 MATLAB 图 像 . mosh 命令 用 于 绘制 三 维 图 的 表面 
也 .3 ”MATLAB 程 序 


用 MATLAB 语 言 编写 程序 能 获得 更 精细 的 结果 . .m 文件 包含 了 MATLAB 的 一 系列 命令 ,.m 文件 的 名 
HADER “m”. 例如 , 你 可 以 用 个 人 偏好 的 编辑 器 或 者 MATLAB 自 带 的 编辑 器 去 创建 文件 cubrt .m, 其 中 
包含 了 下 面 的 命令 : 
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% The program cubrt.m finds a cube root by iteration 

ats: 

z=input (‘Enter z:'); 

for i = l:n 

y = 2*y/3 + 2/(3*¥*2) 

end 

要 运行 程序 , 只 要 在 MATLAB 提 示 符 处 输入 cubrt- 这 些 代码 的 结果 将 收 化 到 z 的 三 次 方 根 , 其 中 的 
原理 在 你 学 过 第 1 章 的 牛顿 方法 以 后 就 已 经 很 清楚 了 ， 注 意 到 ， 分 号 在 由 选 代 定义 新 的 y 那 一 行 的 末尾 被 
省 略 了 ,这 会 让 你 看 到 y 逐步 逼近 z 的 三 次 方 根 的 近似 过 程 . 

有 了 MATLAB 的 图 像 功能 ， 我 们 就 可 以 分 析 三 次 方 根 算法 中 的 数据 .考虑 程序 cubrt1.m : 

% The program cubrtl.m finds cube roots and displays its progress 

y(1)=1; 


z=input ("Enter z:'); 
for i = l:n-1 : 
y(iel) = 2*y(i)/3 + 2/(3*y(i)°2); 
end 
plot (1:n,y) 
title('Iterative method for cube roots’) 
xlabel (‘Iteration number’) 
ylabel('Approximate cube root') 


在 上 面 的 程序 里 , 以 z = 64 运行 一 下 . 完成 时 , 输入 下 面 的 命令 : 
>> e=y-4; 

>> plat (lsn,e) 

>> semilogy(1:n,e) 


第 一 条 命令 从 向 量 y 的 每 一 个 元 素 中 减 去 正确 的 三 次 方 根 4, 这 个 差 就 是 每 步 迭 代 产生 的 误差 e。 第 二 条 命 
令 描 绘 出 了 误差 的 图 像 . 第 三 条 命令 描绘 出 了 误差 的 “ 半 对 数 图 像 ”一 即 在 y 方向 使 用 了 对 数 单位 . 


B.4 流程 控制 


for 循环 在 前 面 求 三 次 方 根 的 程序 里 已 经 介绍 过 了 . MATLAB 有 若干 命令 用 于 控制 程序 的 流程 ， 大 部 分 
的 命令 , 包括 while 循环 、 if 和 break 语句 ， 对 于 那些 了 解 高 级 编程 滞 言 的 读者 来 说 应 该 比较 热 悉 . 例如 ， 


ne5; 
for isi:n 
for jalin 
ati, j)=1/(i+j-1); 
end 
end 


生成 并 显示 了 一 个 5x5 的 Hilbert 矩阵 . 分 号 避免 了 重复 显示 一 些 中 间 过 程 的 结果 . 最 后 把 最 终结 果 a 显 
示 出 来 . 注意 到 每 个 for 命令 必须 和 一 个 ond 命令 匹配 . 虽然 使 用 缩 进 格式 在 MATLAB 里 不 是 必需 的 , 但 
是 这 有 利于 大 大 提高 程序 的 可 读 性 

while 命令 运行 的 原理 类 似 : 


n=5;i=1; 
while i<=n 
jets 
while j<=n 
ati, j)=1/(i+j-1); 
j=j+l; 
end 
isisi; 
end 
a 
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上 面 的 命令 产生 了 和 两 个 for 循环 相同 的 结果 - 
if 命令 用 于 确定 流程 , 此 时 break 命令 能 退出 下 一 次 的 内 循环 . 下 面 的 程序 将 立 明 这 两 个 命令 的 使 用 
方法 : 
% To compute the nth derivative of sin(x) at x=0 
nzinput (‘Enter n, negative number to quit:) 
if n<=0, break, end 
% rem is the remainder function 


elseif r== 


逻辑 运算 符 & 和 | 分 别 代表 逻辑 与 (AND) 和 逻辑 或 (OR) KK. error 命令 停止 执行 .m 文件 , 并 把 相关 
信息 告知 用 户 . 


B.5 Š 数 


如 果 计算 所 用 的 程序 不 仅仅 是 几 行 的 话 ,那么 创造 一 个 .m 文件 去 保存 MATLAB 代 码 是 个 更 好 的 选择 . 
-个 .m 文件 可 以 调用 若干 .m 文件 , 也 可 以 调用 自身 . (输入 (Ctrl)+C 将 通常 用 于 跳出 MATLAB 的 死 循环 ) 

在 MATLAB 中 , 函数 是 一 类 很 特别 的 .m 文件 , 它 可 以 传递 值 . 就 像 下 面 的 例子 那样 第 一 行 的 语法 必须 
遵守 , 文件 名 是 f ,m: 

function y=f (x) 

% Evaluates the function sin(log(x)), if it makes sense, 

% otherwise returns zero. 

if x>0 

y=sin(log(x)); 
else 
y=0 

end 
函数 与 普通 .m 文件 的 区 别 之 处 仅仅 在 第 一 行 ， 文 件 名 , 除去 “.m” 之 外 , 必须 与 第 一 行 里 的 函数 名 称 一 致 , 
因此 , MATLAB 里 的 函数 是 一 种 特殊 的 .m 文件 . 函数 文件 里 的 变量 默认 为 局 部 变量 , 但 是 可 以 由 global fr 
令 声明 为 全 局 变量 . 

更 复杂 的 程序 可 以 有 多 个 变量 作为 输入 , 多 个 变量 作为 输出 . 例如 , 这 个 程序 调用 MATLAB 自 带 的 函数 
mean 和 std, 然后 把 它们 的 结果 以 数组 的 形式 输出 : 

function [m,sigma]=stat (x) 

% Returns sample mean and standard deviation of input vector x 

m=mean (x) ; 

sigma=std (x); 
如 果 stat.m 这 个 文件 在 MATLAB 的 当前 路 径 上 , 那么 输入 stat (x), 其 中 x 是 一 个 向 量 , 将 会 返回 输入 
向 量 x 的 均值 和 标准 差 . 

nargin 命令 可 以 返回 函数 输入 参数 的 个 数 ， 有 了 这 个 命令 , 函数 的 工作 会 被 改变 , 取决 于 出 现在 该 函 
数 中 参数 数量 . nagin 命令 的 一 个 例子 在 关于 堪 套 乘法 的 程序 0.1 中 给 出 . 

在 MaTLAB 里 , 一 个 函数 调用 别 的 函数 有 很 多 方法 . 为 了 尽 可 能 说 清楚 , 这 本 书 里 我 们 通常 使 用 “ 硬 调 
用 ”的 办 法 , 也 就 是 在 调用 函数 里 包含 了 被 调用 函数 的 函数 定义 . 如 果 我 们 的 目标 是 求 sin2z Æ x = 0 的 
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近似 导数 值 , 就 可 以 建立 一 个 叫 deriv.m 的 文件 , 文件 采用 了 第 5 章 中 的 计算 方法 . 


function y=deriv(x,h) 
% Returns derivative approximation at x with step size h 
y=(£ (x+h) -£(x-h))/(2*h); 


function y=f(x) 
y=sin(2*x); 
然后 输入 这 行 命令 
>> deriv(0，0.0001) 
得 到 的 是 近似 的 结果 . 函数 £ 可 以 定义 在 deriv.m 里 面 或 者 作为 一 个 单独 的 f.m 文件 . 这 种 方法 显而易见 ， 
但 是 不 够 巧妙 . 因为 在 改变 输入 函数 的 时 候 ，deriv.m 或 者 f.a 文件 都 需要 改变 . 
更 灵活 的 办 法 是 输入 一 个 所 谓 的 内 联 函 数 (inline function). 例如 , 如 下 创建 一 个 deriv1.m 文件 : 
function y=derivl(f,x,h) 
% Returns derivative approximation at x with step size h 
y= (£(x+h)-£(x-h))/(2*h) ; 
注意 到 函数 现在 依然 作为 输入 参数 那么 下 面 的 命令 
>> feinline('sin(2*x)','x'); 
>> derivi(£,0,0.0001) 
将 得 到 近似 的 导数 值 . 由 这 种 方法 , 很 容易 改变 £, 此 外 , 还 强调 了 这 里 函数 可 以 被 视 为 输入 参数 
为 了 防止 函数 f(z) 过 于 复杂 而 不 能 在 同一 行 里 写 下 , 一 种 简便 的 方法 就 是 声明 为 内 联 函数 ， 我 们 可 以 
运行 任何 一 个 函数 文件 , 例如 fl1.m, 


function y=f1(x) 
X=2*X; 
yesin(x); 

然后 输入 命令 
>> f=inline('£1(x)','x'); 
>> derivi(f,0,0.0001) 


就 得 到 了 导数 的 近似 值 . 我 们 鼓励 读者 使 用 内 联 的 思想 ， 这 更 有 利于 写 出 更 高 效 、 更 灵活 的 代码 . 


Be 和 矩阵 运算 


实现 MATLAB 强 大 的 多 功能 性 的 关键 在 于 变量 数据 结构 的 复杂 性 .MATLAB 中 的 每 个 变量 都 是 一 个 其 
元 素 是 双 精 度 浮 点 数 的 m x n 矩阵. 单个 数 则 是 特殊 的 1 x 1 矩阵 . 下 面 的 格式 

>> A=[1 2 3 

45 6) 
或 者 

>> A=[1 2 3; 4 5 6) 
定义 了 一 个 2x 3 矩阵 A. 命令 B = 和 "创建 了 一 个 3x2 矩阵 B, 它 是 A 的 转 置 . 维 数 相 同 的 矩阵 可 以 用 十 
和 一 运算 符 实现 加 减 . 命令 size(A) 返回 矩阵 A 的 维度 , 而 length(A) 返回 两 个 维度 当中 比较 大 的 那个 . 

MArrAB 提 供 了 许多 能 轻松 创建 矩阵 的 命令 .例如 zeros(m, n) 产生 一 个 m x n SSR. 如 果 A 
是 一 个 矩阵 , 那么 zeros (size(A)) 产生 一 个 和 A 维 数 一 样 的 全 零 阵 . 命令 ones(m, n) 和 eye(m, n) ( 产 
生 的 是 单位 矩阵 ) 也 有 类 似 的 用 法 . 例如 ， 

>> A=[eye(2) zeros(2, 2); zeros(2, 2) eye(2)] 
是 创建 4x4 单位 矩阵 的 一 个 复杂 的 、 但 却 是 正确 的 办 法 . 

冒号 运算 符 能 从 一 个 矩阵 里 抽取 出 子 和 矩阵 .例如 ， 
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>> b=A(1:3, 2) 
把 4 矩阵 的 第 二 列 的 前 三 个 元 素 赋予 b. 命令 
>> b= A(:, 2) 
把 A 矩阵 的 整个 第 二 列 赋予 b 命令 
>> BeAC:, 1:3) 
把 A 矩阵 的 前 三 列子 矩阵 赋予 B 矩阵 . 
mxn ERE A Bl nx pHi B 可 以 由 命令 C=A*B 执行 相 乘 . 如 果 矩 阵 的 维 数 不 合 适 , 那么 MATLAB 会 
拒绝 进行 运算 , 并 会 返回 一 个 错误 信息 . 


B.7 动 画 


微分 方程 领域 需要 对 动态 系统 或 者 说 “动态 的 东西 ”进行 研究 . MATLAB 让 动画 的 制作 变 得 简单 , 而 相 
关内 容 已 在 第 6 章 详细 讨论 , 它们 描绘 一 个 随时 间 变 化 的 微分 方程 的 解 . 

MATLAB 中 的 一 个 样 例 程序 bounce.m ( 见 下 面 的 程序 代码 ) 展示 了 一 个 网 球 在 单位 方块 的 四 壁 之 间 的 
HABE. 第 一 个 set 命令 针对 当前 图 像 (gca) 进行 参数 设置 ,包括 坐标 轴 的 限制 0 < z,y <1. cla 命令 清 
除 图 像 窗 口 , 而 axis square 命令 把 z, y 方向 的 向 量 都 变 成 单位 长 度 . 

接着 , 1ine 命令 用 于 定义 一 条 直线 对 象 ， 称 为 ball, 并 定义 了 ball 的 一 些 属性 ，erase 参数 设置 为 
xor, 意思 是 每 次 描绘 出 网 球 的 时 候 , 先前 位 置 上 的 图 像 要 擦 掉 . 在 while 循环 之 中 的 4 个 if 命令 使 得 小 球 
磁 到 四 面 墙 的 时 候 有 一 个 相反 的 速度 . 循环 也 包含 了 一 个 set 命令 , 这 个 命令 分 别 设置 了 xdata 和 ydata 
属性 的 值 ， 从 而 更 新 了 直线 对 象 ball 当前 的 z 轴 坐 标 和 y 轴 坐 标 . drawnow 命令 在 当前 绘图 窗口 描绘 出 
所 有 定义 的 对 象 . 小 球 运行 的 速度 可 以 用 pause 命令 来 调整 ,调整 的 步 长 从 hx0 到 hyo. while 循环 是 无 
限 的 , 可 以 用 (Ctrl)+C 来 终止 . 下 面 是 完整 的 程序 : 


*bounce.m 

% Illustrates Matlab animation using the drawnow command 

% Usage: Save this file in bounce.m, then type "bounce" 

set (gca, 'XLim', [0 1], 'YLim', [0 1],'Drawmode','fast', ... 

'Visible', 'on'); 

cla 

axis square 

ball = line('color', ','MarkerSize',10, ... 
' data’, [], ‘ydata' , {]); 


','Marker', 'o 


xax+hx;y=y+hy; 
set (ball, 'xdata',x, 'yđata',y);drawnow;pause(0.01) 
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